- 主题:Mac Mini M4 Pro 48gb内存 跑 qwq:32b
Mac Mini M4 Pro with 48gb unified memory, qwq:32b-q8_0 gives 7 tokens/s, qwq:32b-q4_K_M gives 9.9 tokens/s.
--
FROM 123.118.9.*
非满血的都没有用
【 在 DKX 的大作中提到: 】
: Mac Mini M4 Pro with 48gb unif ...
--
FROM 144.202.123.*
不错，够可以了
【 在 DKX 的大作中提到: 】
: Mac Mini M4 Pro with 48gb unified memory, qwq:32b-q8_0 gives 7 tokens/s, qwq:32b-q4_K_M gives 9.9 tokens/s.
:
--
FROM 115.204.69.*
qwq:32b就是满血模型
【 在 aosp 的大作中提到: 】
: 非满血的都没有用
--
FROM 101.226.154.*
关键是pp，mac差太多了
【 在 DKX (DKX) 的大作中提到: 】
: Mac Mini M4 Pro with 48gb unified memory, qwq:32b-q8_0 gives 7 tokens/s, qwq:32b-q4_K_M gives 9.9 tokens/s.
:
:
: --
--
FROM 117.133.82.*
m4 max 128G
目前够用
【 在 smthhz 的大作中提到: 】
: 关键是pp，mac差太多了
--
FROM 115.171.244.*