你为啥老说前后矛盾的话呢,量化模型是不是比非量化效果差? 为啥要量化,是不是因为车载芯片算力不够?
服务器上的AI算力越强,当然会导致车载芯片的算力需求更强,而不是更弱啊。
DeepSeek开源了672B、32B、7B模型,是不是越大的效果越好?这三个量化后一样大吗?
【 在 Icanread 的大作中提到: 】
: 当然不是,因为服务器端的ai芯片永远会比ondevice上的好,这事是由于芯片工作的环境决定的
: 所以在车上,根本犯不着花大钱上最先进的芯片,因为你的模型一定是经过各种处理的轻量化模型
--
FROM 124.64.22.*