- 主题:下载了ds 14b压根就跑不动了 (转载)
我用3年前的mbp m1pro款，32b模型本地推理无压力，还支持metal加速
【 在 FangGuan 的大作中提到: 】
: 【 以下文字转载自 NewExpress 讨论区 】
: 发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
: 标 题: 下载了ds 14b压根就跑不动了
: ...................
--
FROM 183.195.39.*
m1pro是32GB统一内存，不分内存和显存
【 在 Bruce12 的大作中提到: 】
: 你的大内存？
--
FROM 183.195.39.*
应该可以不会爆内存，但没有metal加速，速度可能难以忍受
【 在 adhere (黍离君) 的大作中提到: 】
: 那老的macpro 64G内存岂不是可以跑70B？
:
: 【 在 johnbird 的大作中提到: 】
: : 我用3年前的mbp m1pro款，32b模型本地推理无压力，还支持metal加速
--
FROM 39.144.103.*
还行，能接受，每秒20个token左右
【 在 darkpain 的大作中提到: 】
: 速度应该不快吧，16g跑14b也就是个正常偏慢的速度，
: 32b再慢一倍？
--
FROM 101.226.154.*
没量化吧，4bit量化后你的电脑跑70b模型都没问题
【 在 huzq 的大作中提到: 】
: 我64G内存的笔记本勉强能跑8b:-)
: - 来自 水木说
--
FROM 101.226.154.*
不用自己做，直接下载量化好的4bit模型
【 在 huzq (中家) 的大作中提到: 】
: 怎么做量化？
:
: 【 在 johnbird 的大作中提到: 】
: : 没量化吧，4bit量化后你的电脑跑70b模型都没问题
--
FROM 39.144.43.*
这跟环境配置有关，我使用ollama下载运行deepseek-r1模型，自动会选择GPU来推理
【 在 huzq 的大作中提到: 】
: 下载一个阿里的qwq32b，这货在本地跑压根不用显卡，19G全加载进内存，用CPU跑，一秒钟能出两个汉字。:-)
: 感觉其智能能媲美DeepSeek的满血版。个人电脑配置能过得去的，推荐部署qwq。
: - 来自 水木说
: ...................
--
FROM 101.226.154.*
32GB
【 在 chndgnx (中国龙) 的大作中提到: 】
: 内存多大？
:
: 【 在 johnbird 的大作中提到: 】
: : 标 题: Re: 下载了ds 14b压根就跑不动了 (转载)
--
FROM 101.226.154.*