…仔细读读你自己这句话是不是前后矛盾，量化了还保证不了响应时间，那不就算力不够吗
现在各家恰恰都在基于LLM做新方案…
32B的模型4bit量化，thor-x都吃力。但是32B的模型对于“世界知识”都有点不够。
现在车端算力是还差的多而不是过剩
【 在 Icanread 的大作中提到: 】
: 最后到设备上的模型都是量化稀疏化过的，压根就用不到那么大的模型，那么大的模型响应时间根本没法保证，这和llm有根本上的不同  
--
FROM 124.64.22.*