- 主题:下载了ds 14b压根就跑不动了 (转载)
我64G内存的笔记本勉强能跑8b:-)
【 在 FangGuan 的大作中提到: 】
: 【 以下文字转载自 NewExpress 讨论区 】发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress标 题: 下载了ds 14b压根...
- 来自 水木说
--
FROM 112.67.190.*
怎么做量化？
【 在 johnbird 的大作中提到: 】
: 没量化吧，4bit量化后你的电脑跑70b模型都没问题
- 来自 水木说
--
FROM 36.101.168.*
下载一个阿里的qwq32b，这货在本地跑压根不用显卡，19G全加载进内存，用CPU跑，一秒钟能出两个汉字。:-)
感觉其智能能媲美DeepSeek的满血版。个人电脑配置能过得去的，推荐部署qwq。
【 在 johnbird 的大作中提到: 】
: 不用自己做，直接下载量化好的4bit模型
- 来自 水木说
--
FROM 112.67.190.*
有没有开发专用的大模型机？像移动硬盘那么大，插到电脑usb上，输入问题，输出答案。完美
【 在 tgfbeta 的大作中提到: 】
: 两个3090可运行
- 来自 水木说
--
FROM 139.189.30.*