- 主题:下载了ds 14b压根就跑不动了 (转载)
【 以下文字转载自 NewExpress 讨论区 】
发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
标 题: 下载了ds 14b压根就跑不动了
发信站: 水木社区 (Sat Mar 1 18:24:03 2025), 站内
自己家里的台式机，就只有板载的Intel集成显卡，内存只有12G，下载安装了Ollama，在ollama里面下载了DS的14b版本，然后就悲剧了，和这个本地的AI打个最简单的招呼，都得十分钟后才能回复我，如之奈何？是不是必须得插一块英伟达的推理卡？能跑14b的推理卡最便宜得多少钱？
--
修改:FangGuan FROM 120.245.94.*
FROM 120.245.94.*
内存没用
除非是果子家那种混合内存
【 在 FangGuan 的大作中提到: 】
: 发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
: 标 题: 下载了ds 14b压根就跑不动了
: 发信站: 水木社区 (Sat Mar 1 18:24:03 2025), 站内
: ...................
--
FROM 111.199.106.*
自取其辱
【 在 FangGuan 的大作中提到: 】
: 自己家里的台式机，就只有板载的Intel集成显卡，内存只有12G，下载安装了Ollama，在ollama里面下载了DS的 ...
--
FROM 144.202.123.*
4060可以跑
--
FROM 183.241.188.*
【 在 FangGuan 的大作中提到: 】
: 发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
: 标 题: 下载了ds 14b压根就跑不动了
: 发信站: 水木社区 (Sat Mar 1 18:24:03 2025), 站内
: ...................
能跑也没意思， 14b太弱了， 基本就是个玩具。
--
FROM 124.126.0.*
14b 是9G多
我用3070 8G显存的卡，速度能有9 token/s
这个速度可以正常用了
建议32G系统内存+ 8G以上显存的卡
比如3060 12G显存版本挺合适的
【 在 FangGuan 的大作中提到: 】
: 【 以下文字转载自 NewExpress 讨论区 】
: 发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
: 标 题: 下载了ds 14b压根就跑不动了
: ...................
--
FROM 220.196.238.*
至少32g内存和8g独立显卡才能考虑装单机ai模型，这是常识吧？
--
FROM 106.127.246.*
Mac Mini M4乞丐版就能跑起来14b
【 在 FangGuan 的大作中提到: 】
: 【 以下文字转载自 NewExpress 讨论区 】
: 发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
: 标 题: 下载了ds 14b压根就跑不动了
: 发信站: 水木社区 (Sat Mar 1 18:24:03 2
: ..................
发自「今日水木 on iOS」
--
FROM 116.130.195.*
跑7b很轻松
【 在 FangGuan 的大作中提到: 】
: 【 以下文字转载自 NewExpress 讨论区 】
: 发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
: 标 题: 下载了ds 14b压根就跑不动了
: 发信站: 水木社区 (Sat Mar 1 18:24:03 2
: ..................
发自「今日水木 on iPhone」
--
FROM 39.144.40.*
14b能跑也没啥用啊
--
FROM 114.94.15.*