本地训练不现实，稍微有需求的公司可能拿来做finetuning，内存其实基本够了，开源的llama2 70b也就140g，只是mac单核显卡算力不够，m2ultra也只是4090的弟弟，尽管4090只有24g显存。做本地推理还是可以的，但最多也就是应应急罢了，和在线的LLM性能不好比。私以为最终苹果的ai也大概率在线的，毕竟手机的ram更可怜。
【 在 beaver (因果) 的大作中提到: 】
: 应该不是吧，如果本地训练的话，192G也不够用啊
:
: 【 在 iwannabe 的大作中提到: 】
: : 你是不是以为大模型要在你本地计算训练？
--
FROM 39.144.45.*