- 主题:下载了ds 14b压根就跑不动了 (转载)
还行，能接受，每秒20个token左右
【 在 darkpain 的大作中提到: 】
: 速度应该不快吧，16g跑14b也就是个正常偏慢的速度，
: 32b再慢一倍？
--
FROM 101.226.154.*
没量化吧，4bit量化后你的电脑跑70b模型都没问题
【 在 huzq 的大作中提到: 】
: 我64G内存的笔记本勉强能跑8b:-)
: - 来自 水木说
--
FROM 101.226.154.*
怎么做量化？
【 在 johnbird 的大作中提到: 】
: 没量化吧，4bit量化后你的电脑跑70b模型都没问题
- 来自 水木说
--
FROM 36.101.168.*
不用自己做，直接下载量化好的4bit模型
【 在 huzq (中家) 的大作中提到: 】
: 怎么做量化？
:
: 【 在 johnbird 的大作中提到: 】
: : 没量化吧，4bit量化后你的电脑跑70b模型都没问题
--
FROM 39.144.43.*
下载一个阿里的qwq32b，这货在本地跑压根不用显卡，19G全加载进内存，用CPU跑，一秒钟能出两个汉字。:-)
感觉其智能能媲美DeepSeek的满血版。个人电脑配置能过得去的，推荐部署qwq。
【 在 johnbird 的大作中提到: 】
: 不用自己做，直接下载量化好的4bit模型
- 来自 水木说
--
FROM 112.67.190.*
两个3090可运行
【 在 huzq 的大作中提到: 】
: 下载一个阿里的qwq32b，这货在本地跑压根不用显卡，19G全加载进内存，用CPU跑，一秒钟能出两个汉字。:-)
: 感觉其智能能媲美DeepSeek的满血版。个人电脑配置能过得去的，推荐部署qwq。
: - 来自 水木说
: ...................
--
FROM 221.198.64.*
这跟环境配置有关，我使用ollama下载运行deepseek-r1模型，自动会选择GPU来推理
【 在 huzq 的大作中提到: 】
: 下载一个阿里的qwq32b，这货在本地跑压根不用显卡，19G全加载进内存，用CPU跑，一秒钟能出两个汉字。:-)
: 感觉其智能能媲美DeepSeek的满血版。个人电脑配置能过得去的，推荐部署qwq。
: - 来自 水木说
: ...................
--
FROM 101.226.154.*
内存多大？
【 在 johnbird 的大作中提到: 】
: 标 题: Re: 下载了ds 14b压根就跑不动了 (转载)
: 发信站: 水木社区 (Sat Mar 1 21:06:25 2025), 站内
:
: 我用3年前的mbp m1pro款，32b模型本地推理无压力，还支持metal加速
: 【 在 FangGuan 的大作中提到: 】
: : 【 以下文字转载自 NewExpress 讨论区 】
: : 发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
: : 标 题: 下载了ds 14b压根就跑不动了
: : ...................
:
: --
:
: ※ 来源:·水木社区 mysmth.net·[FROM: 183.195.39.*]
--
FROM 114.247.186.*
32GB
【 在 chndgnx (中国龙) 的大作中提到: 】
: 内存多大？
:
: 【 在 johnbird 的大作中提到: 】
: : 标 题: Re: 下载了ds 14b压根就跑不动了 (转载)
--
FROM 101.226.154.*
qwq都有哪些开源版本？
【 在 huzq 的大作中提到: 】
: 下载一个阿里的qwq32b，这货在本地跑压根不用显卡，19G全加载进内存，用CPU跑，一秒钟能出两个汉字。:-)
: 感觉其智能能媲美DeepSeek的满血版。个人电脑配置能过得去的，推荐部署qwq。
: - 来自 水木说
: ...................
--
FROM 39.149.15.*