噢噢
用 m4 16G 跑量化2位，能到 5 tokens

【 在 johnbird 的大作中提到: 】
: 这个速度是正常的，我用m1pro跑比这个还要慢一些
--
FROM 221.222.249.*

看来Mac只是能跑，但跑的太慢，比不过玩显卡的

【 在 DKX 的大作中提到: 】
: Mac Mini M4 Pro with 48gb unified memory, qwq:32b-q8_0 gives 7 tokens/s, qwq:32b-q4_K_M gives 9.9 tokens/s.
:
--
FROM 1.119.200.*