我刚刚斥2K巨资买了一个七彩虹的显卡（RTX 3060 DUO 12G），因为这是我能买得起的、又有稍微大一些的显存的（性能不足训练慢我可以忍，但是显存小的话 模型是真的放不进去，反复权衡之后，发现12G是刚需）、全新卡（担心矿卡可能会出各种问题，解决起来非常麻烦，3060居然还能在旗舰店买到新品，估计这是最后一批货了）、不用升级电源的（550w电源刚刚好）、能放在我的小机箱中的 唯一的选择。 现在整个14b模型都可以跑在显存中了，输出速度非常快。

过一段时间，打算用这块显卡对7b模型进行下微调训练，然后建立一个私有模型，来回答我的私有问题。

这可能是投资最小的deepseek本地部署方案了。

【 在 Mikov 的大作中提到: 】
: 我的电脑是 128G 内存的, 运行 8b 好像没怎么用内存, 看内存用量才 12G 不到.
: 14b会很耗内存吗?
:
--
修改:heideggerr FROM 60.16.232.*
FROM 60.16.232.*