LLM目前的方法无法实现AGI的简单解释

水木社区手机版

主题:LLM目前的方法无法实现AGI的简单解释
楼主|hzt|2024-06-06 16:19:20|只看此ID
目前的训练就是预测下一个token，而即便是最好的数据，也就是人类准备的数据，下一个token的上限就是人类的智慧；那么从训练角度，永远选择lose最少的checkpoint，那么选出来的模型的上限只是预测了人类现有的标注数据
--
FROM 167.220.233.*
1楼|whistlingMe|2024-06-07 12:30:34|只看此ID
这种观点最后不过是争议名词定义，比如什么算LLM
现在都已经多模态了，理论上能够预测世界的下一次变化，必然刺激模型内部产生智能，只要算力够多AGI就一定会实现，（当然也需需要万倍十万倍算力）

另外其实人类的智力也可以理解为预测下一个token，比如6个月的孩子通过观察世界并预测可以学会：高处的物体会掉下来
--
FROM 114.246.236.*