2k巨资可以上2080ti x22g。远比你这个方案好的多
【 在 heideggerr 的大作中提到: 】
: 我刚刚斥2K巨资买了一个七彩虹的显卡（RTX 3060 DUO 12G），因为这是我能买得起的、又有稍微大一些的显存的（性能不足训练慢我可以忍，但是显存小的话 模型是真的放不进去，反复权衡之后，发现12G是刚需）、全新卡（担心矿卡可能会出各种问题，解决起来非常麻烦，3060居然还能在旗舰店买到新品，估计这是最后一批货了）、不用升级电源的（550w电源刚刚好）、能放在我的小机箱中的 唯一的选择。 现在整个14b模型都可以跑在显存中了，输出速度非常快。
: 过一段时间，打算用这块显卡对7b模型进行下微调训练，然后建立一个私有模型，来回答我的私有问题。
: 这可能是投资最小的deepseek本地部署方案了。
: ...................
--
FROM 222.68.51.*