周末用gpustack把deepseek 671b跑起来了,Q4_K_M量化版

效果还行，速度19 tokens/s
【 在 diamonddust 的大作中提到: 】
: 这个能跑什么样的模型。
: 512g内存的，用来跑ai模型，
: 刚用geekbench测试了一下，单核3190, 多核27700
: ...................
--
FROM 119.139.196.*