没量化吧，4bit量化后你的电脑跑70b模型都没问题
【 在 huzq 的大作中提到: 】
: 我64G内存的笔记本勉强能跑8b:-)
: - 来自 水木说
--
FROM 101.226.154.*