671b原版模型最小也是Q4_K_M
8卡4090 48G都不够，单机多消费级显卡没戏
--
FROM 115.171.216.*

3000多的机器也能显卡跑70B

比如
AMD 8845小主机，核显780M能跑ROCm
最大96G内存，显存可以48G
跑70B q4模型毫无压力

AMD宣传说有16TFlops算力，大概是2070 super的水平
----待验证
【 在 wangstone 的大作中提到: 】
: 现在看MAC成本最低，因为显存和内存共用
: 30000多的机器能跑70B
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*

很快不至于，但能凑合跑

AMD APU的NPU有几档
从16Tflops 到50Tflops
大约相当于2070 super到4080的算力

而且带宽bound，要考虑通信代价
只有最高那几款AMD AI MAX的是256bit内存位宽，256G带宽，还都是LPDDR5x，焊死的内存
其他包括焊死的和插内存条的，都是128bit内存位宽，128G带宽

他们LPDDR5x的APU最大内存是128G，而且巨贵
DDR5内存的APU最大内存官宣是128G
  但可能可以256G，因为8000G系列处理器就已经可以256G内存了
【 在 Auguster 的大作中提到: 】
: 就是说不用买Nvidia的那个小电脑了
: 用AMD CPU 自己加内存256G就可以跑70B的模型很快了？
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*

内存过T太容易了

E7v4 时代洋垃圾，R930，能最大6T（单条64G的LRDIMM），廉价3T内存（单条32G的RDIMM）
另有10 pcie3.0，4路E7
2w元整机，3T内存

【 在 pixYY 的大作中提到: 】
: 看来除了英伟达，内存制造商是这场AI的大赢家
: 我预测三五年之内，中高端内存和显存就会达到 T 数量级了
: 以前我还发文说，有生之年能看到内存超过T，看来一切比我预想快的多
: ...................
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*

10卡rtx8000 48G，合显存480G，可以部署q4模型
提高点速度，可以用4090 48G

所以10卡机可以
但pcie 3.0还是有点慢，
所以我想着找个10卡的pcie 4.0主板，能力有限没找到。。

【 在 mazz 的大作中提到: 】
: 10卡RXT8000二手48Gb够么？
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*