很快不至于,但能凑合跑
AMD APU的NPU有几档
从16Tflops 到50Tflops
大约相当于2070 super到4080的算力
而且带宽bound,要考虑通信代价
只有最高那几款AMD AI MAX的是256bit内存位宽,256G带宽,还都是LPDDR5x,焊死的内存
其他包括焊死的和插内存条的,都是128bit内存位宽,128G带宽
他们LPDDR5x的APU最大内存是128G,而且巨贵
DDR5内存的APU最大内存官宣是128G
但可能可以256G,因为8000G系列处理器就已经可以256G内存了
【 在 Auguster 的大作中提到: 】
: 就是说不用买Nvidia的那个小电脑了
: 用AMD CPU 自己加内存256G就可以跑70B的模型很快了?
:
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*