- 主题:下载了ds 14b压根就跑不动了 (转载)
我64G内存的笔记本勉强能跑8b:-)
【 在 FangGuan 的大作中提到: 】
: 【 以下文字转载自 NewExpress 讨论区 】发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress标 题: 下载了ds 14b压根...
- 来自 水木说
--
FROM 112.67.190.*
怎么做量化?
【 在 johnbird 的大作中提到: 】
: 没量化吧,4bit量化后你的电脑跑70b模型都没问题
- 来自 水木说
--
FROM 36.101.168.*
下载一个阿里的qwq32b,这货在本地跑压根不用显卡,19G全加载进内存,用CPU跑,一秒钟能出两个汉字。:-)
感觉其智能能媲美DeepSeek的满血版。个人电脑配置能过得去的,推荐部署qwq。
【 在 johnbird 的大作中提到: 】
: 不用自己做,直接下载量化好的4bit模型
- 来自 水木说
--
FROM 112.67.190.*
有没有开发专用的大模型机?像移动硬盘那么大,插到电脑usb上,输入问题,输出答案。完美
【 在 tgfbeta 的大作中提到: 】
: 两个3090可运行
- 来自 水木说
--
FROM 139.189.30.*