Macbook 可以，顶配192G unified memory，可以跑100B的模型，速度超过人阅读速度。
其实普通大内存笔记本也都可以CPU inference，只要能忍受一个字一个字往外蹦的速度。
【 在 lvsoft 的大作中提到: 】
: 要这么简单大家要买大显存gpu干嘛？要折腾offload干嘛？你也太想当然了还是那句话，既然说的这么简单，肯定有人做成视 ...
--
FROM 73.136.2.*