3000多的机器也能显卡跑70B

比如
AMD 8845小主机，核显780M能跑ROCm
最大96G内存，显存可以48G
跑70B q4模型毫无压力

AMD宣传说有16TFlops算力，大概是2070 super的水平
----待验证
【 在 wangstone 的大作中提到: 】
: 现在看MAC成本最低，因为显存和内存共用
: 30000多的机器能跑70B
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*

amd核显有npu
性能还可以的，带宽还行
尤其最新的ai max380，395，都有256g的内存带宽
后者更有50tflops的npu

和苹果的m系列在一个水平范围了
【 在 wangstone 的大作中提到: 】
: 核显不行的
: 没有独立显存。用内存速度很慢，cpu大量参与运算
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*

这个小主机跑70b多少token/s

【 在 LYMing1986 的大作中提到: 】
:
: 3000多的机器也能显卡跑70B
:
: 比如
: AMD 8845小主机，核显780M能跑ROCm

#发自zSMTH@PJD110
--
FROM 111.181.10.*

很快不至于，但能凑合跑

AMD APU的NPU有几档
从16Tflops 到50Tflops
大约相当于2070 super到4080的算力

而且带宽bound，要考虑通信代价
只有最高那几款AMD AI MAX的是256bit内存位宽，256G带宽，还都是LPDDR5x，焊死的内存
其他包括焊死的和插内存条的，都是128bit内存位宽，128G带宽

他们LPDDR5x的APU最大内存是128G，而且巨贵
DDR5内存的APU最大内存官宣是128G
  但可能可以256G，因为8000G系列处理器就已经可以256G内存了
【 在 Auguster 的大作中提到: 】
: 就是说不用买Nvidia的那个小电脑了
: 用AMD CPU 自己加内存256G就可以跑70B的模型很快了？
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*

看来除了英伟达，内存制造商是这场AI的大赢家

我预测三五年之内，中高端内存和显存就会达到 T 数量级了

以前我还发文说，有生之年能看到内存超过T，看来一切比我预想快的多


【 在 LYMing1986 的大作中提到: 】
: 很快不至于，但能凑合跑
: AMD APU的NPU有几档
: 从16Tflops 到50Tflops
: ...................
--
修改:pixYY FROM 111.36.200.*
FROM 111.36.200.*