把电脑升级到了32GB，14b模型感觉稍微好了些，卡顿明显减少了，不过和官网输出速度比还是差距巨大。看来，还是得弄一块显卡。

【 在 bluemind 的大作中提到: 】
: 14B能跑起来就行。 好像说存储带宽很重要， 你的还有没有详细点配置，SSD啥的
:
:
--
FROM 113.233.198.*

什么问题呢？
【 在 smthhz 的大作中提到: 】
: 随便问了个一个公开api的问题，错的离谱，同样问题gpt4就很正常，在我看来根本不能用啊  
--
FROM 112.24.211.*

不会，我原来系统只有16G内存，启动ollama之前系统和其他应用占用了5个G，14b大概需要10G左右，处于临界状态，所以非常担心内存不够用，导致内存被频繁地swap out到磁盘上，好在手头正好还有32G内存，索性就升级了下内存，把这种隐患排除掉。

现在看起来：
1，GPU显存如果能把模型全装下，系统整个跑在GPU上是最快的；
2. 否则，系统会使用CPU来进行并行计算：
   2.1，如果模型能装到内存中，系统可以正常运行，不过性能很差，此时瓶颈在CPU；
   2.2，如果模型无法全部放到内存中，但是硬盘够用的话，性能会差到几乎无法忍受，尽管如此系统应该也能运行--我看到有人用IT的nvme硬盘跑那个671b的完整模型的，一个回答需要半个小时。 这是通过操作系统将磁盘模拟内存来实现的，此时瓶颈在内存；
   2.3 如果模型无法全部放到内存中，而且硬盘也不够用，那就彻底没法跑了，此时瓶颈在硬盘；

所以，如果你有128G内存，你可以尝试下跑70b的那个模型，能最大化地利用你的硬件资源。

【 在 Mikov 的大作中提到: 】
: 我的电脑是 128G 内存的, 运行 8b 好像没怎么用内存, 看内存用量才 12G 不到.
: 14b会很耗内存吗?
:
--
修改:heideggerr FROM 113.233.198.*
FROM 113.233.198.*

每秒可以出几个 token?

【 在 Jacqueline 的大作中提到: 】
: 7b/8b可以在3060 6G上跑得很流畅
--
FROM 120.37.20.*

【 在 hgoldfish 的大作中提到: 】
: 每秒可以出几个 token?
:

7b/8b 这种玩具级别的模型， 手机都能跑。
16b上下的模型， 有块十几个G的独立显卡的普通电脑也能跑。
27b/30b这个级别的， 要求就高一些了，PC输出一个字一个字往外蹦，
想流畅大内存显卡多块免不了， H100，A100之类的离大众消费还是远了点。

感觉， 使用这些大模型， 就是吃显存， 反倒不吃怎么算力， 显卡GPU的占用平均只有10%都不到，
就是显存被吃满， 其实，显存并不昂贵， 奈何英伟达一家独大， 给4060出一个128G显存版本的事情，
完全是不可能的， 巴不得你装十块显卡。
--
FROM 115.171.245.*