没说错
AMD和Intel的自带npu,内存带宽不足,内存带宽线性相关每秒推理的token数上限
AMD AI MAX+395的带宽够大了,四通道也就256Gbps
随便一个消费级显卡,比如2080ti 显存带宽都600G+
导致 这些NPU。即使内存能载入再大模型,计算速度也受限
也就意味着,不值得更大算力
确认的是模型推理肯定受限内存/显存带宽,且提升带宽能明显提升性能
但确实有些高性能芯片使用不高的显存带宽
所以我这说法可能不全面
【 在 Auguster 的大作中提到: 】
: 是不说错了,
: 应该不是内存带宽的问题,估计你表达的是英伟达的另一个神器Nvlink,能看到amd在努力,Intel好像只是在做显卡,没听到有NPU的风声。
:
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*