【 在 lvsoft 的大作中提到: 】
: 怎么可能机器1秒就学会人18年的训练...
: GPT3的训练代价大概是128张A100卡和1年的时间。训练的数据量也只是45TB而已。
: 你人活18年就只产生45TB数据么？你的眼睛相当于600万像素的相机，帧率算是10fps，你睁开眼一秒就会产生1.34G的数据，两只眼睛还要乘以2好不好。这还只是视觉，触觉，听觉等等其他感官也都是时刻产生巨量数据的。你真以为人的带宽很低啊？那个只是语言的IO带宽很低罢了。
: ...................
128张卡而已，要是再多1000倍呢，你眼睛600万像素大多是无用信息，你在训练么，你最多只是在推理而已，大多数时间推理都没推。
--
FROM 223.94.44.*