- 主题:显卡的价格啥时候才能降下来啊
NPU路线在AI时代难道不是更有前途吗?
【 在 wszt 的大作中提到: 】
: hw显卡搞砸了 不然确实有机会用上
: 最后S3的这个故事里面还隐藏着另外一个故事,兆芯2018年离职的中高层领导层里面除了上面几个,还有一个人,叫洪洲,这个人加入了华为海思在2018年搭建的GPU笛卡尔团队。然后出现了海思著名的AI卡路线之争,应该走GPGPU路线还是NPU路线,显然GPGPU团队失败了,然后就出现了洪洲出走,创立壁仞科技的事情。
: 再后来2020-2021年笛卡尔团队再次爆发大规模离职,出现了杨建等人离职,加入沐曦创业团队的事情。海思笛卡尔团队经历着两次大规模离职后,高层技术人员全部出走,虽然团队后来得以重建,但也直接导致了马良GPU研发过程中断,导致目前马良GPU性能拉垮。
: ...................
--
FROM 1.119.200.*
amd和intel的npu,受限内存带宽
算力做大了用不上
【 在 Auguster 的大作中提到: 】
: NPU路线在AI时代难道不是更有前途吗?
:
--
FROM 124.126.186.*
是不说错了,
应该不是内存带宽的问题,估计你表达的是英伟达的另一个神器Nvlink,能看到amd在努力,Intel好像只是在做显卡,没听到有NPU的风声。
【 在 LYMing1986 的大作中提到: 】
: amd和intel的npu,受限内存带宽
: 算力做大了用不上
:
--
FROM 1.119.200.*
没说错
AMD和Intel的自带npu,内存带宽不足,内存带宽线性相关每秒推理的token数上限
AMD AI MAX+395的带宽够大了,四通道也就256Gbps
随便一个消费级显卡,比如2080ti 显存带宽都600G+
导致 这些NPU。即使内存能载入再大模型,计算速度也受限
也就意味着,不值得更大算力
确认的是模型推理肯定受限内存/显存带宽,且提升带宽能明显提升性能
但确实有些高性能芯片使用不高的显存带宽
所以我这说法可能不全面
【 在 Auguster 的大作中提到: 】
: 是不说错了,
: 应该不是内存带宽的问题,估计你表达的是英伟达的另一个神器Nvlink,能看到amd在努力,Intel好像只是在做显卡,没听到有NPU的风声。
:
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
A100接近淘汰了
blackwell是升级最大的一代,也就是H100和h20这代
结构,特性都有很大升级
就比如
所有最新模型都使用的fp4,A100不支持
flash attention 3/4,A100也不支持
【 在 Auguster 的大作中提到: 】
: 太长且看不懂,我个人认为Nvidia A100 比 5090要好。
:
--
FROM 124.126.186.*
你确定不是AMD产品定位的问题?
MAX +395 宽带做到1024Gbps话,对AMD有什么技术难题吗,如果这样做整个市场会发生什么事?
【 在 LYMing1986 的大作中提到: 】
: 没说错
: AMD和Intel的自带npu,内存带宽不足,内存带宽线性相关每秒推理的token数上限
: AMD AI MAX+395的带宽够大了,四通道也就256Gbps
: ...................
--
FROM 1.119.200.*
就是定位问题
AMD能做到8通道以上
那样会挤压epyc市场和线程撕裂者市场
所以,amd和intel的npu就是面向低端低算力需求的
低功耗低算力低成本方案
对吧
【 在 Auguster 的大作中提到: 】
: 你确定不是AMD产品定位的问题?
: MAX +395 宽带做到1024Gbps话,对AMD有什么技术难题吗,如果这样做整个市场会发生什么事?
:
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
看来这个问题上,我们的看法是一致的
【 在 LYMing1986 的大作中提到: 】
: 就是定位问题
: AMD能做到8通道以上
: 那样会挤压epyc市场和线程撕裂者市场
: ...................
--
FROM 1.119.200.*