更高的算力可以支持更多的参数,参数越多映射的结果就越精确,这个应该不难理解吧,要不现在的大模型大家都在堆算力呢
【 在 plsfnd 的大作中提到: 】
: 这不是用多少张卡训练的问题:所有的AI模型,只要它的结构规模确定了,然后对它训练的数据确定了。无论你用多大的训练资源,只要训练方法相同,能够训练到收敛完成,那最后的性能肯定都是一样的。
: 因为所有的电脑运算资源都属于冯诺伊曼机,本质上统统是相同的,只是运行时间快慢的问题。所以训练资源的大小只不过影响训练时间而已。
: 因此想要提高AI模型的新能,只能要么提高模型的规模(或者设计出更精妙的结构?但现在所有大模型的结构已经统统高度同质化了,要想改进需要的是天才和不断试错),但提高模型规模就必然要求现在已经很极限的推理端芯片(就是在车上负责运行模型的芯片)的性能和功耗还要继续提高;要么增加数据,但数据的积累和获取完全是一个与人力和时间强相关的线性产出的活,不是你拼命堆钱就能指数增长的。
: ...................
--
修改:djkstra FROM 14.127.22.*
FROM 14.127.22.*