对,我现在用的就是70b这个全精度版的
但毕竟还是蒸馏的版本,但是671b的版本跑不动,只能跑量化版,而且Q4量化都跑不动,只能跑q2量化,准确的说是Q2_K_XS量化版
所以想知道,哪个好一点
【 在 Bruce12 (Bruce12) 的大作中提到: 】
: ds-r1 70b 试过,到现在来说效果一般了 另外应该不到200g
: 【 在 butely 的大作中提到: 】
: : 体积都差不多,200g左右,哪个效果好?
: : 下载一次有点费劲,提前问问,有试过的吗?
--
FROM 112.0.58.*