怎么可能机器1秒就学会人18年的训练...
GPT3的训练代价大概是128张A100卡和1年的时间。训练的数据量也只是45TB而已。
你人活18年就只产生45TB数据么？你的眼睛相当于600万像素的相机，帧率算是10fps，你睁开眼一秒就会产生1.34G的数据，两只眼睛还要乘以2好不好。这还只是视觉，触觉，听觉等等其他感官也都是时刻产生巨量数据的。你真以为人的带宽很低啊？那个只是语言的IO带宽很低罢了。

【 在 nsyncxyz 的大作中提到: 】
: 浪费能量就训练一个通用模型也是可接受的，现在计算机上肯定不是最优解，但有很大改进空间，人脑模式肯定只是大脑这种形状的局部最优解，离最优解肯定也差的很远，而且功率小，高带宽有很大意义啊，人18年的训练，机器1秒不到就学会了，各种知识融汇贯通会量变引起质变的。
--
修改:lvsoft FROM 180.158.63.*
FROM 180.158.63.*