14b 是9G多
我用3070 8G显存的卡，速度能有9 token/s
这个速度可以正常用了
建议32G系统内存+ 8G以上显存的卡
比如3060 12G显存版本挺合适的
【 在 FangGuan 的大作中提到: 】
: 【 以下文字转载自 NewExpress 讨论区 】
: 发信人: FangGuan (vidrira.雯杜莉娜.芳官.耶律雄奴.金星玻璃), 信区: NewExpress
: 标 题: 下载了ds 14b压根就跑不动了
: ...................
--
FROM 220.196.238.*