比如通常的笔记本电脑，或者拿苹果来当标准，苹果中档的macbook的性能。有人预测一下么。
--
FROM 117.133.52.*

也就是说目前32G内存笔记本可以部署qwen2.5？
【 在 LYMing1986 的大作中提到: 】
: 标  题: Re: 什么时候本地模型可以达到claude 3.5的水平？
: 发信站: 水木社区 (Mon Jan  6 10:52:08 2025), 站内
:
: 现在已经可以达到了
: ----------------------------
: 如果是win本，因为windows会划分一半内存当做共享显存
: 新win本普遍32G内存情况下，4060笔记本至少能有24G显存可用，可部署48b模型
: 如果内存加满，工作站4 x 48G DDR5内存，可部署上百B参数的模型
:
: macos因为统一内存，192G内存的顶配版本也可以部署上百B参数的模型
: ------------------------
: qwen2.5 72b已在官宣的OpenCompass的评测榜里超过claude 3.5
: 虽然这个排名可以探讨，但或许已经达到相近水平
:
:
: --
: ※ 修改:·LYMing1986 于 Jan  6 10:53:03 2025 修改本文·[FROM: 115.171.216.*]
: ※ 来源:·水木社区 http://www.mysmth.net·[FROM: 115.171.216.*]
--
修改:LYMing1986 FROM 115.171.216.*
FROM 117.133.52.*

32G内存不能部署72B模型，因为windows只划一半内存做显存
qwen2.5 32B的4bit量化应该可以

【 在 chunhui 的大作中提到: 】
: 也就是说目前32G内存笔记本可以部署qwen2.5？
--
FROM 115.171.216.*

我说“官宣”“OpenCompass评测榜”就是等你这最后一句“另外官宣超过claude 3.5的一大堆，你信可以拉出来走两步试试。”
实际体验千差万别，排行榜各种都有

lz问的是达到水平，如果在某个排名相近，或许可以认为他们水平相近
即使落后，也是相近

【 在 lvsoft 的大作中提到: 】
: 啥？win划走一半内存当共享内存？哪个windows会这么搞啊？
: 另外划不划内存，也不表示显卡能用这部分内存啊，啥时候4060笔记本可以直接用内存当显存了？
: 另外官宣超过claude 3.5的一大堆，你信可以拉出来走两步试试。
--
FROM 115.171.216.*

那还是有点距离。我是希望普通的笔记本能部署达到claude 3.5的水平的话（而且有达到3.5水平开源模型）。就可以在本地部署一个了。目前感觉claude用来编码完全够用了。
【 在 LYMing1986 的大作中提到: 】
: 32G内存不能部署72B模型，因为windows只划一半内存做显存
: qwen2.5 32B的4bit量化应该可以
--
FROM 117.133.52.*