非常感谢
【 在 haili 的大作中提到: 】
: 现在大家往往都量化跑，12G显存大概跑4bit量化的13/14B比较稳，现在也有k/v cache的部分量化了；然后12G勉强跑34B的iq2_xxs的gguf量化也是能运行的。
: 6~7B有openchat-3.5系列和Yi/Qwen等系列，QK5_M之类量化效果比4bit更好。
: 9B的Yi刚出来，相关的微调不够多，12G 按说也能跑QK5_M。
: ...................
--
FROM 221.219.79.*