刚刚在5600G、没有独显、16G内存机器上用ollama运行了deepseek-r1-14b模型，虽然比较慢、CPU占用率很高，但是感觉它的<think>...</think>之间的问题扩展过程很不错！

【 在 coollpe 的大作中提到: 】
: 作为最强大的模型，它本地运行只需要768G内存，势必大幅增加洋垃圾服务器需求
--
FROM 113.233.193.*

这是第二个问题，用了两分钟才输出完毕，而且它好像混淆了“训练”和“运行”，说得有点含糊其辞、非常不自信的样子。不过人类读者很容易判断，系统一定是采取了某些动态加载的技术，使得那些无关的网络部分根本就没加载到GPU之中，所以它的回答也给出了很多提示，也算是OK的。

【 在 bluemind 的大作中提到: 】
: 一秒钟可以出几个字 ？
:


--
修改:heideggerr FROM 113.233.193.*
FROM 113.233.193.*

我的机器是16G，装载模型之前系统内存占用7G，装载后12个G，所以模型应该占用5G左右吧，7b模型文件大小我瞅了眼也是4.7G左右，这应该不是巧合。

【 在 Fgps 的大作中提到: 】
: 7b需要多少内存？
: 的确，我也没想到能跑起来，分别跑了1.5b，7b和14b三个规格的模型，1.5b像一个弱智一样，7b的就好了很多，性能也不错， 14b看起来思考得更多，但也更慢， 所以综合来说，可以拿7b来进行下测试。
: 我的机器普通得不能再普通了，绝对不是什么高端机器，而是一台3年前的中低端机器而已，存储就是最普通不过的nvme 512G罢了。
: ...................
--
FROM 113.233.193.*

不会，我原来系统只有16G内存，启动ollama之前系统和其他应用占用了5个G，14b大概需要10G左右，处于临界状态，所以非常担心内存不够用，导致内存被频繁地swap out到磁盘上，好在手头正好还有32G内存，索性就升级了下内存，把这种隐患排除掉。

现在看起来：
1，GPU显存如果能把模型全装下，系统整个跑在GPU上是最快的；
2. 否则，系统会使用CPU来进行并行计算：
   2.1，如果模型能装到内存中，系统可以正常运行，不过性能很差，此时瓶颈在CPU；
   2.2，如果模型无法全部放到内存中，但是硬盘够用的话，性能会差到几乎无法忍受，尽管如此系统应该也能运行--我看到有人用IT的nvme硬盘跑那个671b的完整模型的，一个回答需要半个小时。 这是通过操作系统将磁盘模拟内存来实现的，此时瓶颈在内存；
   2.3 如果模型无法全部放到内存中，而且硬盘也不够用，那就彻底没法跑了，此时瓶颈在硬盘；

所以，如果你有128G内存，你可以尝试下跑70b的那个模型，能最大化地利用你的硬件资源。

【 在 Mikov 的大作中提到: 】
: 我的电脑是 128G 内存的, 运行 8b 好像没怎么用内存, 看内存用量才 12G 不到.
: 14b会很耗内存吗?
:
--
修改:heideggerr FROM 113.233.198.*
FROM 113.233.198.*

我刚刚斥2K巨资买了一个七彩虹的显卡（RTX 3060 DUO 12G），因为这是我能买得起的、又有稍微大一些的显存的（性能不足训练慢我可以忍，但是显存小的话 模型是真的放不进去，反复权衡之后，发现12G是刚需）、全新卡（担心矿卡可能会出各种问题，解决起来非常麻烦，3060居然还能在旗舰店买到新品，估计这是最后一批货了）、不用升级电源的（550w电源刚刚好）、能放在我的小机箱中的 唯一的选择。 现在整个14b模型都可以跑在显存中了，输出速度非常快。

过一段时间，打算用这块显卡对7b模型进行下微调训练，然后建立一个私有模型，来回答我的私有问题。

这可能是投资最小的deepseek本地部署方案了。

【 在 Mikov 的大作中提到: 】
: 我的电脑是 128G 内存的, 运行 8b 好像没怎么用内存, 看内存用量才 12G 不到.
: 14b会很耗内存吗?
:
--
修改:heideggerr FROM 60.16.232.*
FROM 60.16.232.*