3000多的机器也能显卡跑70B

比如
AMD 8845小主机，核显780M能跑ROCm
最大96G内存，显存可以48G
跑70B q4模型毫无压力

AMD宣传说有16TFlops算力，大概是2070 super的水平
----待验证
【 在 wangstone 的大作中提到: 】
: 现在看MAC成本最低，因为显存和内存共用
: 30000多的机器能跑70B
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*