- 主题:是不是苹果一旦应用什么大模型……
本地内存需求，就会有数量级的差别？
我很担心我的mbp16用不了多久了……无法实现我打算用满5年的预期
比如需要96G内存……，什么8G啊，16G啊之类的……统统跑步起来AI相关的功能
然后逼大家升级、换机……
tradeup
--
修改:beaver FROM 157.122.5.*
FROM 157.122.5.*
就是逼你淘汰，以前手机不是限制cpu频率吗，逼你升级。无奈电池可以换，硬盘也可以换，但是内存换不了啊，所以旧手机最后淘汰还是因为内存不够。
不然，旧型号的苹果手机，当个电话，mp3播放器，网购，甚至放放抖音之类奶头乐，应该没问题的。没有旧型号淘汰，业绩怎么增长，股价怎么维持？
【 在 beaver 的大作中提到: 】
: 本地内存需求，就会有数量级的差别？
: 我很担心我的mbp16用不了多久了……无法实现我打算用满5年的预期
: 比如需要96G内存……，什么8G啊，16G啊之类的……统统跑步起来AI相关的功能
: ...................
--
FROM 111.160.157.*
你是不是以为大模型要在你本地计算训练？
【 在 beaver 的大作中提到: 】
: 本地内存需求，就会有数量级的差别？
: 我很担心我的mbp16用不了多久了……无法实现我打算用满5年的预期
: 比如需要96G内存……，什么8G啊，16G啊之类的……统统跑步起来AI相关的功能
: ...................
--
FROM 119.139.199.*
是啊，我觉得AI啊，什么大模型的应用啊，估计对内存的要求是断崖状态的。
所以我的16G的mbp，估计就彻底废了。于是我还得搞个什么64G啊，96G啊这样的内存的机器。然后三四万的预算就上去了
【 在 daw 的大作中提到: 】
: 就是逼你淘汰，以前手机不是限制cpu频率吗，逼你升级。无奈电池可以换，硬盘也可以换，但是内存换不了啊，所以旧手机最后淘汰还是因为内存不够。
: 不然，旧型号的苹果手机，当个电话，mp3播放器，网购，甚至放放抖音之类奶头乐，应该没问题的。没有旧型号淘汰，业绩怎么增长，股价怎么维持？
:
--
FROM 157.122.5.*
应该不是吧，如果本地训练的话，192G也不够用啊
【 在 iwannabe 的大作中提到: 】
: 你是不是以为大模型要在你本地计算训练？
:
--
FROM 157.122.5.*
本地训练不现实，稍微有需求的公司可能拿来做finetuning，内存其实基本够了，开源的llama2 70b也就140g，只是mac单核显卡算力不够，m2ultra也只是4090的弟弟，尽管4090只有24g显存。做本地推理还是可以的，但最多也就是应应急罢了，和在线的LLM性能不好比。私以为最终苹果的ai也大概率在线的，毕竟手机的ram更可怜。
【 在 beaver (因果) 的大作中提到: 】
: 应该不是吧，如果本地训练的话，192G也不够用啊
:
: 【 在 iwannabe 的大作中提到: 】
: : 你是不是以为大模型要在你本地计算训练？
--
FROM 39.144.45.*
说得好！
直接回答我的问题，我的16G的mbp，会不会遭受AI使用方面的限制？比64G的mbp
我期待你的回答是：其实也没啥太大差别，16G干不了的事情，64G一样干不了
【 在 stevenwyy 的大作中提到: 】
: 本地训练不现实，稍微有需求的公司可能拿来做finetuning，内存其实基本够了，开源的llama2 70b也就140g，只是mac单核显卡算力不够，m2ultra也只是4090的弟弟，尽管4090只有24g显存。做本地推理还是可以的，但最多也就是应应急罢了，和在线的LLM性能不好比。私以为最终苹果的ai也大概率在线的，毕竟手机的ram更可怜。
--
FROM 157.122.5.*
的确不会有太大差别。别说64g的了，我用192g的mac studio试了huggingface上的各种高分模型也基本上就是gpt3.5的水准，在gpt4turbo面前不堪一击，因为参数量上应该是10倍甚至是百倍的差距。apple ai要不比gpt4turbo差太多的话，至少也得是1TB的大小，那么目前看来apple silicon自己也做不到，只能还是用nvidia的显卡cluster算好放在自家的服务器上了
【 在 beaver (因果) 的大作中提到: 】
: 说得好！
:
: 直接回答我的问题，我的16G的mbp，会不会遭受AI使用方面的限制？比64G的mbp
:
--
FROM 39.144.45.*
成了，就得是你这样真正懂的专家来讲明白。
多谢，那我放心了。我是绝对不会买64G以上的内存的mbp的。太贵了。如果64G搞不定的事情，16G也就无所谓了。我继续用这个东西做着卑微的事情就好了
【 在 stevenwyy 的大作中提到: 】
: 的确不会有太大差别。别说64g的了，我用192g的mac studio试了huggingface上的各种高分模型也基本上就是gpt3.5的水准，在gpt4turbo面前不堪一击，因为参数量上应该是10倍甚至是百倍的差距。apple ai要不比gpt4turbo差太多的话，至少也得是1TB的大小，那么目前看来apple silicon自己也做不到，只能还是用nvidia的显卡cluster算好放在自家的服务器上了
--
FROM 157.122.5.*
不是专家，只是有兴趣了解，说的不一定完全对，大家一起讨论：）
【 在 beaver (因果) 的大作中提到: 】
: 成了，就得是你这样真正懂的专家来讲明白。
:
: 多谢，那我放心了。我是绝对不会买64G以上的内存的mbp的。太贵了。如果64G搞不定的事情，16G也就无所谓了。我继续用这个东西做着卑微的事情就好了
:
--
FROM 39.144.45.*