7b/8b可以在3060 6G上跑得很流畅
【 在 Fgps 的大作中提到: 】
: 7b需要多少内存？
: 的确，我也没想到能跑起来，分别跑了1.5b，7b和14b三个规格的模型，1.5b像一个弱智一样，7b的就好了很多，性能也不错， 14b看起来思考得更多，但也更慢， 所以综合来说，可以拿7b来进行下测试。
: 我的机器普通得不能再普通了，绝对不是什么高端机器，而是一台3年前的中低端机器而已，存储就是最普通不过的nvme 512G罢了。
: ...................
--
修改:Jacqueline FROM 116.235.194.*
FROM 116.235.194.*