能跑，跑6B 13B都ok。
更大的估计会有点慢了。
Apple Silicon的mps优化也很明显。

【 在 artech51 的大作中提到: 】
: 准备买个m3 max 128G跑大模型推理，gpu据说能用上？效果怎么样？
--
FROM 120.244.12.*