最后到设备上的模型都是量化稀疏化过的，压根就用不到那么大的模型，那么大的模型响应时间根本没法保证，这和llm有根本上的不同
【 在 whistlingMe (哈哈) 的大作中提到: 】
: 现在端到端模型当然是越强越好，更别说后面都会上世界大模型了，普遍都在百亿参数以上。
: 【 在 Icanread 的大作中提到: 】
: : 我就是告诉你，实际上车上的ai芯片不需要太强，如果只是拿来推理模型，地平线足够用了，现在很多手机上的ai芯片推理大模型也够用了
: : 在车上，响应时间也很重要，我相信那些模型都是做了各种处理的，inference所需的算力就更少了
--
FROM 203.208.61.*