水木社区手机版
- 主题:deepseek 671b r1一出，洋垃圾又要暴涨了
- 刚刚在5600G、没有独显、16G内存机器上用ollama运行了deepseek-r1-14b模型，虽然比较慢、CPU占用率很高，但是感觉它的<think>...</think>之间的问题扩展过程很不错！
【 在 coollpe 的大作中提到: 】
: 作为最强大的模型，它本地运行只需要768G内存，势必大幅增加洋垃圾服务器需求
--
FROM 113.233.193.* - 一秒钟可以出几个字 ？
【 在 heideggerr 的大作中提到: 】
: 刚刚在5600G、没有独显、16G内存机器上用ollama运行了deepseek-r1-14b模型，虽然比较慢、CPU占用率很高，但是感觉它的<think>...</think>之间的问题扩展过程很不错！
:
--
FROM 60.2.184.* - 没数，附图是我问的第一个问题，应该在1分钟之内输出的，想试试功能可以的，但是确实比较慢，如果问题多的画，感觉有点不太实用。
【 在 bluemind 的大作中提到: 】
: 一秒钟可以出几个字 ？
:
--
FROM 113.233.193.* - 还不错啊
【 在 heideggerr 的大作中提到: 】
: 没数，附图是我问的第一个问题，应该在1分钟之内输出的，想试试功能可以的，但是确实比较慢，如果问题多的画，感觉有点不太实用。
: [upload=1][/upload][upload=2][/upload]
--
FROM 60.2.184.* - 这是第二个问题，用了两分钟才输出完毕，而且它好像混淆了“训练”和“运行”，说得有点含糊其辞、非常不自信的样子。不过人类读者很容易判断，系统一定是采取了某些动态加载的技术，使得那些无关的网络部分根本就没加载到GPU之中，所以它的回答也给出了很多提示，也算是OK的。
【 在 bluemind 的大作中提到: 】
: 一秒钟可以出几个字 ？
:
--
修改:heideggerr FROM 113.233.193.*
FROM 113.233.193.* - 14B能跑起来就行。 好像说存储带宽很重要， 你的还有没有详细点配置，SSD啥的
【 在 heideggerr 的大作中提到: 】
: 这是第二个问题，用了两分钟才输出完毕，而且它好像混淆了“训练”和“运行”，说得有点含糊其辞、非常不自信的样子。不过人类读者很容易判断，系统一定是采取了某些动态加载的技术，使得那些无关的网络部分根本就没加载到GPU之中，所以它的回答也给出了很多提示，也算是OK的。
: [upload=1][/upload]
--
FROM 60.2.184.* - 的确，我也没想到能跑起来，分别跑了1.5b，7b和14b三个规格的模型，1.5b像一个弱智一样，7b的就好了很多，性能也不错， 14b看起来思考得更多，但也更慢， 所以综合来说，可以拿7b来进行下测试。
我的机器普通得不能再普通了，绝对不是什么高端机器，而是一台3年前的中低端机器而已，存储就是最普通不过的nvme 512G罢了。
因为根据官方的说明，跑DS模型需要6K以上的显卡，结果5600g的核显就跑起来了，所以这个结果非常非常出乎我的意料，这个结果供版上的各位参考。
【 在 bluemind 的大作中提到: 】
: 14B能跑起来就行。 好像说存储带宽很重要， 你的还有没有详细点配置，SSD啥的
:
:
--
FROM 113.233.193.* - 7b需要多少内存？
【 在 heideggerr 的大作中提到: 】
的确，我也没想到能跑起来，分别跑了1.5b，7b和14b三个规格的模型，1.5b像一个弱智一样，7b的就好了很多，性能也不错， 14b看起来思考得更多，但也更慢， 所以综合来说，可以拿7b来进行下测试。
我的机器普通得不能再普通了，绝对不是什么高端机器，而是一台3年前的中低端机器而已，存储就是最普通不过的nvme 512G罢了。
因为根据官方的说明，跑DS模型需要6K以上的显卡，结果5600g的核显就跑起来了，所以这个结果非常非常出乎我的意料，这个结果供版上的各位参考。
【 在 bluemind 的大作中提到: 】
: 14B能跑起来就行。 好像说存储带宽很重要， 你的还有没有详细点配置，SSD啥的
:
:
--
FROM 123.114.81.* - 我的机器是16G，装载模型之前系统内存占用7G，装载后12个G，所以模型应该占用5G左右吧，7b模型文件大小我瞅了眼也是4.7G左右，这应该不是巧合。
【 在 Fgps 的大作中提到: 】
: 7b需要多少内存？
: 的确，我也没想到能跑起来，分别跑了1.5b，7b和14b三个规格的模型，1.5b像一个弱智一样，7b的就好了很多，性能也不错， 14b看起来思考得更多，但也更慢， 所以综合来说，可以拿7b来进行下测试。
: 我的机器普通得不能再普通了，绝对不是什么高端机器，而是一台3年前的中低端机器而已，存储就是最普通不过的nvme 512G罢了。
: ...................
--
FROM 113.233.193.* - 7b/8b可以在3060 6G上跑得很流畅
【 在 Fgps 的大作中提到: 】
: 7b需要多少内存？
: 的确，我也没想到能跑起来，分别跑了1.5b，7b和14b三个规格的模型，1.5b像一个弱智一样，7b的就好了很多，性能也不错， 14b看起来思考得更多，但也更慢， 所以综合来说，可以拿7b来进行下测试。
: 我的机器普通得不能再普通了，绝对不是什么高端机器，而是一台3年前的中低端机器而已，存储就是最普通不过的nvme 512G罢了。
: ...................
--
修改:Jacqueline FROM 116.235.194.*
FROM 116.235.194.*