- 主题:希望M4的Mac别再8G起步了
加内存加性能都意义不大了。当务之急是如何本地跑ai，而且要本地的ai不次于gpt3.5....
【 在 laputa2013 的大作中提到: 】
: 这都2024了，也该16G起步了吧。
--
FROM 111.196.132.*
好用不好用，苹果近期都没这个能力。这才是苹果感到着急的原因。
【 在 Nicolussi 的大作中提到: 】
: 别想了，好用的都进不来，国人用用温馨一言凑合得了
--
FROM 111.196.132.*
你要那么多内存性能是干啥的？
【 在 newway007 的大作中提到: 】
: 跑ai跟啥有关?不就是内存、性能？
--
FROM 111.196.132.*
不用等,一直在用国内的ai，非常好用。苹果是有赶不上这趟车的风险。
【 在 Nicolussi 的大作中提到: 】
: 有没有这个能力都跟国行版无关了，还是等着用温馨一言 吧
--
FROM 111.196.132.*
能给大模型单独留出来60G应该就可以跑。然后cpu的神经核多几个。不要风扇呼呼转就行。
【 在 Xjt 的大作中提到: 】
: M4应该做到300G内存，这样可以直接在笔记本上跑70b的大模型不用量化。实现真正的个人AI助手。
--
FROM 111.196.132.*
貌似不需要量化，直接跑。我听说的，没试。
【 在 Xjt 的大作中提到: 】
: 60G跑什么模型？70b的int4量化版？
--
FROM 111.196.132.*
这种苹果的片上内存，集成gpu 神经核是优势。希望苹果能抓住这个。
【 在 tgfbeta 的大作中提到: 】
: 加内存不是绝对必要，
: LLM的算力对于GPU来说不是瓶颈
: 问题在于怎么在最短时间把算好的东西挪走
: ...................
--
FROM 111.196.132.*
n卡想集成到其他的笔记本中跑本地模型，也很难。所以我说这是苹果的优势，就看苹果能否搞定本地模型的相关问题了。
【 在 tgfbeta 的大作中提到: 】
: 苹果焊在板子上，吞吐量比一般桌面要大
: 但是没N卡那么大
: 但是N卡的显存更是金子做的
: ...................
--
FROM 111.196.132.*
现在本地就可以跑，只不过要买顶配。
【 在 omelet 的大作中提到: 】
: 不现实
: 各大厂堆大量的算力支持的
: 想在本地跑出这个结果是不现实的
: ...................
--
FROM 111.196.132.*
可以跑。他们说48G就可以跑70b的模型。
【 在 omelet 的大作中提到: 】
: 就算顶配192G，也跑不了啥啊
--
FROM 111.196.132.*