要这么简单大家要买大显存gpu干嘛？
要折腾offload干嘛？
你也太想当然了

还是那句话，既然说的这么简单，肯定有人做成视频出来demo了，
这种事情总比搭个4卡2080ti 22g要简单吧？b站搜：BV1y1421k75j
这是4卡集群跑110b的模型的例子。

现在轮到你给我一个笔记本跑大模型的例子了。不要求110b这么大，你找个70b的就行。
先说清楚，别给我整offload到cpu的例子。

【 在 LYMing1986 的大作中提到: 】
: 独显在windows下和macos下，也可以共享部分内存
: 不是硬划，而是可以
: 而且我搜了相关信息，有很多印证，确认wsl2里 独显可用这部分共享内存。
: ...................
--
修改:lvsoft FROM 117.135.82.*
FROM 117.135.82.*