换个方向，清华有个 KTransformers ，
可以实现运行 DeepSeek-R1 提升28倍
用4090D 24Gvram 跑4bit 671B 的DeepSeek R1，是每秒27.29t


【 在 LYMing1986 的大作中提到: 】
: 指导，1.x bit到2.x bit有好几档
: 没必要啊，效果差不少，这么折腾还不如买api
:
--
FROM 1.119.200.*