m2ultra 192G已退货
llama2 70B GPU跑满推理起来都吃力，大概3tokens/s左右，再复杂点的应用就更别提了。不如自己finetuneGPT3.5了，GPT4 finetuning已经对部分用户开放了
  
【 在 artech51 (artech51) 的大作中提到: 】
:  准备买个m3 max 128G跑大模型推理，gpu据说能用上？效果怎么样？
:  --
:  
:  
--
FROM 39.144.44.*