我就是告诉你,实际上车上的ai芯片不需要太强,如果只是拿来推理模型,地平线足够用了,现在很多手机上的ai芯片推理大模型也够用了
在车上,响应时间也很重要,我相信那些模型都是做了各种处理的,inference所需的算力就更少了
车载的大算力芯片,真正能起到作用的就是帮厂家节省数据中心的建设费用和电费,对了电费也是个重要成本
【 在 yuandao888 (yes!) 的大作中提到: 】
: 可以学特斯拉的模式,国内除了华为还凑合,其他厂家有多少算力资源。。。
: 【 在 Icanread 的大作中提到: 】
: : 对大部分模型来说,为了保证响应速度,到设备上都量化(quantization),稀疏化(sparsification)过,推理(inference)花不了多少算力
: : 那多出来那么多算力干啥呢?如果技术能力强的厂商,当然是federated learning了,一方面可以把采集的数据预处理,不需要大量上传实际训练数据,只上传梯度数据即可,另一方面还可以满足隐私和监管的需要,最后还极容易规模化,只要车卖的多,数据中心只需要把上传上来的梯度聚合一下即可,数据中心扩建需求也极大缓解了
--
FROM 203.208.61.*