现在已经可以达到了
----------------------------
如果是win本,因为windows会划分一半内存当做共享显存,wsl2可以用这部分显存做计算
新win本普遍32G内存情况下,4060笔记本至少能有24G显存可用,可部署48b模型
如果内存加满,工作站4 x 48G DDR5内存,可部署上百B参数的模型
macos因为统一内存,192G内存的顶配版本也可以部署上百B参数的模型
------------------------
qwen2.5 72b已在官宣的OpenCompass的评测榜里超过claude 3.5
虽然这个排名可以探讨,但或许已经达到相近水平
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*