这种车载的ai芯片，快没卵用，用来推理模型，地平线足够用了

再快，也就是给车厂做federated learning用
属于是车主花钱帮车厂分担训练模型的数据中心的建设成本了  
  
【 在 yuandao888 (yes!) 的大作中提到: 】
:  第一档：Thor-x 1000T，一颗抵得上Orin-x四颗，蔚来老款四颗才超过1000T，x和蔚来神矶芯片算力差不多。
:  第二档：Thor-s 700T算力
:  第三档：Thor-U 500T算力，理想最高端车型搭载一颗。
:  第四档：Thor-z 300T算力  
--
FROM 203.208.61.*

模型训练和推理，对此我正好了解的很清楚

  
【 在 yuandao888 (yes!) 的大作中提到: 】
:  反智言论少发一些，没意义。
:  【 在 Icanread 的大作中提到: 】
:  : 这种车载的ai芯片，快没卵用，用来推理模型，地平线足够用了  
:  : 再快，也就是给车厂做federated learning用  
--
FROM 203.208.61.*

算力单位和Orin-X的是一回事么？会不会是FP4算力对FP8算力甚至FP4对FP16的结果？

【 在 yuandao888 的大作中提到: 】
: 第一档：Thor-x 1000T，一颗抵得上Orin-x四颗，蔚来老款四颗才超过1000T，x和蔚来神矶芯片算力差不多。
: 第二档：Thor-s 700T算力
: 第三档：Thor-U 500T算力，理想最高端车型搭载一颗。
: ...................
--
FROM 114.246.237.*

可以学特斯拉的模式，国内除了华为还凑合，其他厂家有多少算力资源。。。
【 在 Icanread 的大作中提到: 】
: 对大部分模型来说，为了保证响应速度，到设备上都量化（quantization），稀疏化（sparsification）过，推理（inference）花不了多少算力
: 那多出来那么多算力干啥呢？如果技术能力强的厂商，当然是federated learning了，一方面可以把采集的数据预处理，不需要大量上传实际训练数据，只上传梯度数据即可，另一方面还可以满足隐私和监管的需要，最后还极容易规模化，只要车卖的多，数据中心只需要把上传上来的梯度聚合一下即可，数据中心扩建需求也极大缓解了
--
FROM 124.127.200.*

我就是告诉你，实际上车上的ai芯片不需要太强，如果只是拿来推理模型，地平线足够用了，现在很多手机上的ai芯片推理大模型也够用了

在车上，响应时间也很重要，我相信那些模型都是做了各种处理的，inference所需的算力就更少了

车载的大算力芯片，真正能起到作用的就是帮厂家节省数据中心的建设费用和电费，对了电费也是个重要成本
  
【 在 yuandao888 (yes!) 的大作中提到: 】
:  可以学特斯拉的模式，国内除了华为还凑合，其他厂家有多少算力资源。。。
:  【 在 Icanread 的大作中提到: 】
:  : 对大部分模型来说，为了保证响应速度，到设备上都量化（quantization），稀疏化（sparsification）过，推理（inference）花不了多少算力  
:  : 那多出来那么多算力干啥呢？如果技术能力强的厂商，当然是federated learning了，一方面可以把采集的数据预处理，不需要大量上传实际训练数据，只上传梯度数据即可，另一方面还可以满足隐私和监管的需要，最后还极容易规模化，只要车卖的多，数据中心只需要把上传上来的梯度聚合一下即可，数据中心扩建需求也极大缓解了  
--
FROM 203.208.61.*