现在已经可以达到了
----------------------------
如果是win本，因为windows会划分一半内存当做共享显存，wsl2可以用这部分显存做计算
新win本普遍32G内存情况下，4060笔记本至少能有24G显存可用，可部署48b模型
如果内存加满，工作站4 x 48G DDR5内存，可部署上百B参数的模型

macos因为统一内存，192G内存的顶配版本也可以部署上百B参数的模型
------------------------
qwen2.5 72b已在官宣的OpenCompass的评测榜里超过claude 3.5
虽然这个排名可以探讨，但或许已经达到相近水平
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*

win10和win11都会这么干

显卡会把这些共享显存当显存用，wsl环境下的显卡都能用
-----刚确认，好像win环境下显卡不一定会用共享显存，但wsl2确实会用共享显存
不过，内存的带宽显著低于显存带宽

所以使用体验，也就是速度，肯定看有
不过既然只对比水平、能力，速度刚好不在问题范围内

【 在 lvsoft 的大作中提到: 】
: 啥？win划走一半内存当共享内存？哪个windows会这么搞啊？
: 另外划不划内存，也不表示显卡能用这部分内存啊，啥时候4060笔记本可以直接用内存当显存了？
: 另外官宣超过claude 3.5的一大堆，你信可以拉出来走两步试试。
--
修改:LYMing1986 FROM 115.171.216.*
FROM 115.171.216.*

有意义
我的核心逻辑是，家用笔记本可以部署高参数量的开源模型
一些开源模型在一些评测里已经赶超claude3.5

lz没有给出评价标准，那么任意评价标准都是可行的
或者lz现在给出评价标准，再用这些标准去衡量现有的开源模型

【 在 lvsoft 的大作中提到: 】
: 你这个说法毫无意义啊，就是在玩文字游戏。
: 同样的事情，一个能做到一个做不到，那就是有本质区别。
: 这样的事情多来几个，或者大概率会落入这种场景，那这两个东西就有本质差距。
: ...................
--
FROM 115.171.216.*

因为显存的带宽和延迟要远远优于共享显存

就好比，cpu能跑，为啥大家还用gpu？
cpu慢
【 在 lvsoft 的大作中提到: 】
: 要这么简单大家要买大显存gpu干嘛？
: 要折腾offload干嘛？
: 你也太想当然了
: ...................
--
FROM 115.171.216.*

关于付费这事或许可以蹭平台的免费额度

比如github models、gemini都有免费使用额度
前者使用gpt 4o等很多模型都可以 每分钟10次免费
后者1.5 flash也可以每分钟15次免费

轻度用用或许够了

还可以多账号负载均衡（比如用dify来做负载均衡）

【 在 lvsoft 的大作中提到: 】
: 在实际中用用就行了。
: 价格便宜10倍，效果不次于claude 3.5，傻瓜才会继续给claude付费。
:
--
FROM 115.171.216.*