你有点搞笑，你说端侧算力不重要，因为服务端算力够就可以，我认同啊
关键是，你服务端算力够吗？你服务端算力不够，端侧算力也不够，你这样偷换概念有啥意义？
【 在 Icanread 的大作中提到: 】
: 我就是告诉你，实际上车上的ai芯片不需要太强，如果只是拿来推理模型，地平线足够用了，现在很多手机上的ai芯片推理大模型也够用了
: 在车上，响应时间也很重要，我相信那些模型都是做了各种处理的，inference所需的算力就更少了
: 车载的大算力芯片，真正能起到作用的就是帮厂家节省数据中心的建设费用和电费，对了电费也是个重要成本
--
FROM 124.127.200.*

你就没弄懂我的意思，我意思是，车载的ai芯片不需要太强，太强对用户来说就是给车厂分担模型训练成本而已，包括芯片和电力成本

至于车厂要不要建设大的数据中心来训练模型，那是另一回事  
  
【 在 yuandao888 (yes!) 的大作中提到: 】
:  你有点搞笑，你说端侧算力不重要，因为服务端算力够就可以，我认同啊
:  关键是，你服务端算力够吗？你服务端算力不够，端侧算力也不够，你这样偷换概念有啥意义？
:  【 在 Icanread 的大作中提到: 】
:  : 我就是告诉你，实际上车上的ai芯片不需要太强，如果只是拿来推理模型，地平线足够用了，现在很多手机上的ai芯片推理大模型也够用了  
--
FROM 203.208.61.*

最后到设备上的模型都是量化稀疏化过的，压根就用不到那么大的模型，那么大的模型响应时间根本没法保证，这和llm有根本上的不同  
  
【 在 whistlingMe (哈哈) 的大作中提到: 】
:  现在端到端模型当然是越强越好，更别说后面都会上世界大模型了，普遍都在百亿参数以上。
:  【 在 Icanread 的大作中提到: 】
:  : 我就是告诉你，实际上车上的ai芯片不需要太强，如果只是拿来推理模型，地平线足够用了，现在很多手机上的ai芯片推理大模型也够用了  
:  : 在车上，响应时间也很重要，我相信那些模型都是做了各种处理的，inference所需的算力就更少了  
--
FROM 203.208.61.*

当然是一回事，因为两者不可分割的，你端侧不强，数据中心也不强，你拿什么搞？
【 在 Icanread 的大作中提到: 】
: 你就没弄懂我的意思，我意思是，车载的ai芯片不需要太强，太强对用户来说就是给车厂分担模型训练成本而已，包括芯片和电力成本
: 至于车厂要不要建设大的数据中心来训练模型，那是另一回事  
--
FROM 124.127.200.*

ok，你有花钱买好芯片为车厂提高模型性能的觉悟就行

我意思是，如果只是用模型，开车时推理模型，地平线就够用了，如果你说，我愿意花更多钱帮助车厂买芯片和电力训练更好的模型，那我没意见
  
【 在 yuandao888 (yes!) 的大作中提到: 】
:  当然是一回事，因为两者不可分割的，你端侧不强，数据中心也不强，你拿什么搞？
:  【 在 Icanread 的大作中提到: 】
:  : 你就没弄懂我的意思，我意思是，车载的ai芯片不需要太强，太强对用户来说就是给车厂分担模型训练成本而已，包括芯片和电力成本  
:  : 至于车厂要不要建设大的数据中心来训练模型，那是另一回事    
--
FROM 203.208.61.*