的确,我也没想到能跑起来,分别跑了1.5b,7b和14b三个规格的模型,1.5b像一个弱智一样,7b的就好了很多,性能也不错, 14b看起来思考得更多,但也更慢, 所以综合来说,可以拿7b来进行下测试。
我的机器普通得不能再普通了,绝对不是什么高端机器,而是一台3年前的中低端机器而已,存储就是最普通不过的nvme 512G罢了。
因为根据官方的说明,跑DS模型需要6K以上的显卡,结果5600g的核显就跑起来了,所以这个结果非常非常出乎我的意料,这个结果供版上的各位参考。
【 在 bluemind 的大作中提到: 】
: 14B能跑起来就行。 好像说存储带宽很重要, 你的还有没有详细点配置,SSD啥的
:
:
--
FROM 113.233.193.*