【 以下文字转载自 Stock 讨论区 】
发信人: biggestwolf (灰太狼), 信区: Stock
标 题: 马斯克打算训练一个比GPT4更强大的LLM
发信站: 水木社区 (Fri Apr 7 12:44:45 2023), 站内
一个意外的合作诞生了，马斯克和贝索斯联手准备提供资金训练一个比目前GPT4更强大的LLM。参数数量比GPT3高一千倍左右，让它的参数量接近人类大脑全部神经元突触数量。
为了节约制冷和耗能，亚麻和特斯拉联合提供五万块h100英伟达GPU和三万片dojo，由spacex把它们送到低轨道，携带巨量太阳能板。太空接近零度的空间和太阳能板让训练成本大幅下降。
亚马逊提供海量mechanicalturk 支持LLM的对齐和supervision。
该项目在六个月以后正式实施。
--
FROM 124.64.22.*