- 主题:希望M4的Mac别再8G起步了
苹果典型的策略就是从穷人赚钱
【 在 Nicolussi 的大作中提到: 】
: 即便从4G起步，你也可以选择16G的啊
: 为什么一定要求起步配置呢？
: 要知道，少点内存，价格少2000，对于穷人来说有多值
: ...................
--
FROM 60.24.248.*
加内存不是绝对必要，
LLM的算力对于GPU来说不是瓶颈
问题在于怎么在最短时间把算好的东西挪走
把还没算的部分加载进来
所以实际问题是计算单元的吞吐量
也就是显存/内存吞吐量
当然如果你的PCIe足够宽RAID足够大
即使只有4G内存也可以跑的嗖嗖的
【 在 chunhui 的大作中提到: 】
: 加内存加性能都意义不大了。当务之急是如何本地跑ai，而且要本地的ai不次于gpt3.5....
--
修改:tgfbeta FROM 60.24.248.*
FROM 60.24.248.*
苹果焊在板子上，吞吐量比一般桌面要大
但是没N卡那么大
但是N卡的显存更是金子做的
不比mac便宜
【 在 chunhui 的大作中提到: 】
: 这种苹果的片上内存，集成gpu 神经核是优势。希望苹果能抓住这个。
--
FROM 60.24.248.*
n卡的TDP压不住，火炉子
【 在 chunhui 的大作中提到: 】
: n卡想集成到其他的笔记本中跑本地模型，也很难。所以我说这是苹果的优势，就看苹果能否搞定本地模型的相关问题了。
--
FROM 60.24.248.*
KV-cache是会爆显存的
模型也是会爆的
那是因为计算单元在GPU上
有人用服务器RAID加CPU搞mmap
不要内存也可以
因为RAID和PCIe太宽了
【 在 omelet 的大作中提到: 】
: 我还以为推理时候都是把大模型load进来
: 感觉好多都是
: 多几轮对话容易爆显存
: ...................
--
FROM 60.24.248.*
能啊
192G跑量化的70b模型没问题
MoE应该也可以
【 在 omelet 的大作中提到: 】
: 就算顶配192G，也跑不了啥啊
--
FROM 60.24.248.*
内存小只能跑量化过的
【 在 chunhui 的大作中提到: 】
: 可以跑。他们说48G就可以跑70b的模型。
--
FROM 60.24.248.*
70g个参数
你搞错了
【 在 ensonmj 的大作中提到: 】
: 70b就是700g个参数，就算是int4量化，最少也需要350G内存。60G咋可能跑得了。跑7b差不多。
--
FROM 60.24.248.*
这事情很简单
砸钱就完了
不管你是A100 4090还是Mac Studio Ultra
早买早享受 晚买享折扣
【 在 ensonmj 的大作中提到: 】
: 不好意思是我搞多了个0，不过不量化还是跑不了。
--
FROM 60.24.248.*
那就淘洋垃圾服务器，把RAID开得高高的
有足够带宽，就算mmap也能给你4G内存运行起来。
【 在 moudy 的大作中提到: 】
: 是的，贵就是原罪
--
FROM 60.24.248.*