- 主题:是不是苹果一旦应用什么大模型……
本地训练不现实，稍微有需求的公司可能拿来做finetuning，内存其实基本够了，开源的llama2 70b也就140g，只是mac单核显卡算力不够，m2ultra也只是4090的弟弟，尽管4090只有24g显存。做本地推理还是可以的，但最多也就是应应急罢了，和在线的LLM性能不好比。私以为最终苹果的ai也大概率在线的，毕竟手机的ram更可怜。
【 在 beaver (因果) 的大作中提到: 】
: 应该不是吧，如果本地训练的话，192G也不够用啊
:
: 【 在 iwannabe 的大作中提到: 】
: : 你是不是以为大模型要在你本地计算训练？
--
FROM 39.144.45.*
的确不会有太大差别。别说64g的了，我用192g的mac studio试了huggingface上的各种高分模型也基本上就是gpt3.5的水准，在gpt4turbo面前不堪一击，因为参数量上应该是10倍甚至是百倍的差距。apple ai要不比gpt4turbo差太多的话，至少也得是1TB的大小，那么目前看来apple silicon自己也做不到，只能还是用nvidia的显卡cluster算好放在自家的服务器上了
【 在 beaver (因果) 的大作中提到: 】
: 说得好！
:
: 直接回答我的问题，我的16G的mbp，会不会遭受AI使用方面的限制？比64G的mbp
:
--
FROM 39.144.45.*
不是专家，只是有兴趣了解，说的不一定完全对，大家一起讨论：）
【 在 beaver (因果) 的大作中提到: 】
: 成了，就得是你这样真正懂的专家来讲明白。
:
: 多谢，那我放心了。我是绝对不会买64G以上的内存的mbp的。太贵了。如果64G搞不定的事情，16G也就无所谓了。我继续用这个东西做着卑微的事情就好了
:
--
FROM 39.144.45.*