推理没问题。128G可以跑34B毫无压力，跑70b得量化了。还可以做作34B codeLlama的Lora fine-tune，就是坑很多，很多现成的fine-tune代码不能用，得自己写。
【 在 artech51 的大作中提到: 】
: 准备买个m3 max 128G跑大模型推理，gpu据说能用上？效果怎么样？
--
FROM 220.243.154.*