- 主题:deepseek 671b r1一出,洋垃圾又要暴涨了
得自己训练吗?
【 在 smthhz 的大作中提到: 】
随便问了个一个公开api的问题,错的离谱,同样问题gpt4就很正常,在我看来根本不能用啊
【 在 coollpe (coollpe) 的大作中提到: 】
: 作为最强大的模型,它本地运行只需要768G内存,势必大幅增加洋垃圾服务器需求
:
: --
:
--
FROM 123.114.81.*
7b需要多少内存?
【 在 heideggerr 的大作中提到: 】
的确,我也没想到能跑起来,分别跑了1.5b,7b和14b三个规格的模型,1.5b像一个弱智一样,7b的就好了很多,性能也不错, 14b看起来思考得更多,但也更慢, 所以综合来说,可以拿7b来进行下测试。
我的机器普通得不能再普通了,绝对不是什么高端机器,而是一台3年前的中低端机器而已,存储就是最普通不过的nvme 512G罢了。
因为根据官方的说明,跑DS模型需要6K以上的显卡,结果5600g的核显就跑起来了,所以这个结果非常非常出乎我的意料,这个结果供版上的各位参考。
【 在 bluemind 的大作中提到: 】
: 14B能跑起来就行。 好像说存储带宽很重要, 你的还有没有详细点配置,SSD啥的
:
:
--
FROM 123.114.81.*
多谢!
【 在 Jacqueline 的大作中提到: 】
7b/8b可以在3060 6G上跑得很流畅
【 在 Fgps 的大作中提到: 】
: 7b需要多少内存?
: 的确,我也没想到能跑起来,分别跑了1.5b,7b和14b三个规格的模型,1.5b像一个弱智一样,7b的就好了很多,性能也不错, 14b看起来思考得更多,但也更慢, 所以综合来说,可以拿7b来进行下测试。
: 我的机器普通得不能再普通了,绝对不是什么高端机器,而是一台3年前的中低端机器而已,存储就是最普通不过的nvme 512G罢了。
: ...................
--
修改:Jacqueline FROM 116.235.194.*
FROM 123.114.81.*