【 以下文字转载自 NewExpress 讨论区 】
发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
标  题: 下载了ds 14b压根就跑不动了
发信站: 水木社区 (Sat Mar  1 18:24:03 2025), 站内


自己家里的台式机，就只有板载的Intel集成显卡，内存只有12G，下载安装了Ollama，在ollama里面下载了DS的14b版本，然后就悲剧了，和这个本地的AI打个最简单的招呼，都得十分钟后才能回复我，如之奈何？是不是必须得插一块英伟达的推理卡？能跑14b的推理卡最便宜得多少钱？
--
修改:FangGuan FROM 120.245.94.*
FROM 120.245.94.*

我用3年前的mbp m1pro款，32b模型本地推理无压力，还支持metal加速
【 在 FangGuan 的大作中提到: 】
: 【 以下文字转载自 NewExpress 讨论区 】
: 发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
: 标  题: 下载了ds 14b压根就跑不动了
: ...................
--
FROM 183.195.39.*

m1pro是32GB统一内存，不分内存和显存
【 在 Bruce12 的大作中提到: 】
: 你的大内存？
--
FROM 183.195.39.*

mac系统下怎么部署？

【 在 Bruce12 的大作中提到: 】
: 新出的mac mini 丐版即可
:
:
: ...................
--来自微微水木3.5.17
--
FROM 39.149.15.*

内存太小了，16G起步。
14b，12G显存的3070 4070应该都没问题

【 在 FangGuan 的大作中提到: 】
: 发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
: 标  题: 下载了ds 14b压根就跑不动了
: 发信站: 水木社区 (Sat Mar  1 18:24:03 2025), 站内
: ...................
--
FROM 171.213.18.*