- 主题:Thor 芯片有四档
这种车载的ai芯片，快没卵用，用来推理模型，地平线足够用了
再快，也就是给车厂做federated learning用
属于是车主花钱帮车厂分担训练模型的数据中心的建设成本了
【 在 yuandao888 (yes!) 的大作中提到: 】
: 第一档：Thor-x 1000T，一颗抵得上Orin-x四颗，蔚来老款四颗才超过1000T，x和蔚来神矶芯片算力差不多。
: 第二档：Thor-s 700T算力
: 第三档：Thor-U 500T算力，理想最高端车型搭载一颗。
: 第四档：Thor-z 300T算力
--
FROM 203.208.61.*
模型训练和推理，对此我正好了解的很清楚
【 在 yuandao888 (yes!) 的大作中提到: 】
: 反智言论少发一些，没意义。
: 【 在 Icanread 的大作中提到: 】
: : 这种车载的ai芯片，快没卵用，用来推理模型，地平线足够用了
: : 再快，也就是给车厂做federated learning用
--
FROM 203.208.61.*
对大部分模型来说，为了保证响应速度，到设备上都量化（quantization），稀疏化（sparsification）过，推理（inference）花不了多少算力
那多出来那么多算力干啥呢？如果技术能力强的厂商，当然是federated learning了，一方面可以把采集的数据预处理，不需要大量上传实际训练数据，只上传梯度数据即可，另一方面还可以满足隐私和监管的需要，最后还极容易规模化，只要车卖的多，数据中心只需要把上传上来的梯度聚合一下即可，数据中心扩建需求也极大缓解了
【 在 yuandao888 (yes!) 的大作中提到: 】
: 别搞笑了
: 你说这话恰恰说明了你完全不懂。
: 要么端侧算力足，要么服务侧算力足，两头都不占，你可能有天顶星科技。
: 【 在 Icanread 的大作中提到: 】
--
FROM 203.208.61.*
我就是告诉你，实际上车上的ai芯片不需要太强，如果只是拿来推理模型，地平线足够用了，现在很多手机上的ai芯片推理大模型也够用了
在车上，响应时间也很重要，我相信那些模型都是做了各种处理的，inference所需的算力就更少了
车载的大算力芯片，真正能起到作用的就是帮厂家节省数据中心的建设费用和电费，对了电费也是个重要成本
【 在 yuandao888 (yes!) 的大作中提到: 】
: 可以学特斯拉的模式，国内除了华为还凑合，其他厂家有多少算力资源。。。
: 【 在 Icanread 的大作中提到: 】
: : 对大部分模型来说，为了保证响应速度，到设备上都量化（quantization），稀疏化（sparsification）过，推理（inference）花不了多少算力
: : 那多出来那么多算力干啥呢？如果技术能力强的厂商，当然是federated learning了，一方面可以把采集的数据预处理，不需要大量上传实际训练数据，只上传梯度数据即可，另一方面还可以满足隐私和监管的需要，最后还极容易规模化，只要车卖的多，数据中心只需要把上传上来的梯度聚合一下即可，数据中心扩建需求也极大缓解了
--
FROM 203.208.61.*
你就没弄懂我的意思，我意思是，车载的ai芯片不需要太强，太强对用户来说就是给车厂分担模型训练成本而已，包括芯片和电力成本
至于车厂要不要建设大的数据中心来训练模型，那是另一回事
【 在 yuandao888 (yes!) 的大作中提到: 】
: 你有点搞笑，你说端侧算力不重要，因为服务端算力够就可以，我认同啊
: 关键是，你服务端算力够吗？你服务端算力不够，端侧算力也不够，你这样偷换概念有啥意义？
: 【 在 Icanread 的大作中提到: 】
: : 我就是告诉你，实际上车上的ai芯片不需要太强，如果只是拿来推理模型，地平线足够用了，现在很多手机上的ai芯片推理大模型也够用了
--
FROM 203.208.61.*
最后到设备上的模型都是量化稀疏化过的，压根就用不到那么大的模型，那么大的模型响应时间根本没法保证，这和llm有根本上的不同
【 在 whistlingMe (哈哈) 的大作中提到: 】
: 现在端到端模型当然是越强越好，更别说后面都会上世界大模型了，普遍都在百亿参数以上。
: 【 在 Icanread 的大作中提到: 】
: : 我就是告诉你，实际上车上的ai芯片不需要太强，如果只是拿来推理模型，地平线足够用了，现在很多手机上的ai芯片推理大模型也够用了
: : 在车上，响应时间也很重要，我相信那些模型都是做了各种处理的，inference所需的算力就更少了
--
FROM 203.208.61.*
ok，你有花钱买好芯片为车厂提高模型性能的觉悟就行
我意思是，如果只是用模型，开车时推理模型，地平线就够用了，如果你说，我愿意花更多钱帮助车厂买芯片和电力训练更好的模型，那我没意见
【 在 yuandao888 (yes!) 的大作中提到: 】
: 当然是一回事，因为两者不可分割的，你端侧不强，数据中心也不强，你拿什么搞？
: 【 在 Icanread 的大作中提到: 】
: : 你就没弄懂我的意思，我意思是，车载的ai芯片不需要太强，太强对用户来说就是给车厂分担模型训练成本而已，包括芯片和电力成本
: : 至于车厂要不要建设大的数据中心来训练模型，那是另一回事
--
FROM 203.208.61.*
咋矛盾了？任何时候，最先进的模型都不可能ondevice上跑起来，都必须用各种技术处理，可能是量化，可能是稀疏化，也可能是蒸馏，或者混合用然后finetune，
如果一台车上就能飞快的跑起来训练好的原始模型，那只能说这个模型太落后了
【 在 whistlingMe (哈哈) 的大作中提到: 】
: …仔细读读你自己这句话是不是前后矛盾，量化了还保证不了响应时间，那不就算力不够吗
: 现在各家恰恰都在基于LLM做新方案…
: 32B的模型4bit量化，thor-x都吃力。但是32B的模型对于“世界知识”都有点不够。
: 现在车端算力是还差的多而不是过剩
--
FROM 203.208.61.*
我说了，ondevice上可以装高性能ai芯片，无非卖的贵一点，耗电一点。对车本身的自动驾驶性能作用不大，主要是对车厂训练模型成本降低了
【 在 yuandao888 (yes!) 的大作中提到: 】
: 基本的算力都不够，能有啥好模型的？？？？
: 端侧高算力是非常务实的，除非你有特斯拉那么有钱，狂砸钱建数据中心，特斯拉有很多算力数据中心的核心技术
: 【 在 Icanread 的大作中提到: 】
: : ok，你有花钱买好芯片为车厂提高模型性能的觉悟就行
--
FROM 203.208.61.*
我的观点是车载ai芯片不需要算力太高端的，没有意义
高端的ai芯片本质上是为车厂训练模型省芯片的钱和电
【 在 whistlingMe (哈哈) 的大作中提到: 】
: 你的观点到底是啥，你发表的字应该顺理成章推出来结论：车载算力很重要
: 越大越好，越快越好，而时延又很重要
: 【 在 Icanread 的大作中提到: 】
: : 咋矛盾了？任何时候，最先进的模型都不可能ondevice上跑起来，都必须用各种技术处理，可能是量化，可能是稀疏化，也可能是蒸馏，或者混合用然后finetune，
--
FROM 203.208.61.*