这不是用多少张卡训练的问题:所有的AI模型,只要它的结构规模确定了,然后对它训练的数据确定了。无论你用多大的训练资源,只要训练方法相同,能够训练到收敛完成,那最后的性能肯定都是一样的。
因为所有的电脑运算资源都属于冯诺伊曼机,本质上统统是相同的,只是运行时间快慢的问题。所以训练资源的大小只不过影响训练时间而已。
因此想要提高AI模型的新能,只能要么提高模型的规模(或者设计出更精妙的结构?但现在所有大模型的结构已经统统高度同质化了,要想改进需要的是天才和不断试错),但提高模型规模就必然要求现在已经很极限的推理端芯片(就是在车上负责运行模型的芯片)的性能和功耗还要继续提高;要么增加数据,但数据的积累和获取完全是一个与人力和时间强相关的线性产出的活,不是你拼命堆钱就能指数增长的。
另外就算是拼命投资这两个方向,还可能会遇到模型性能饱和的问题,就是你拼命投了十倍的资源,结果模型的性能可能就提高了10%,完全不值当。
【 在 djkstra 的大作中提到: 】
: 现在的FSD只是几千张H100训练出来的结果,虽然跟人类还不能比但已经很惊艳了,等Cortex建好10万张H200跑起来还是值得期待的
:
--
FROM 49.7.236.*