- 主题:希望M4的Mac别再8G起步了
不现实
各大厂堆大量的算力支持的
想在本地跑出这个结果是不现实的
【 在 chunhui 的大作中提到: 】
: 加内存加性能都意义不大了。当务之急是如何本地跑ai，而且要本地的ai不次于gpt3.5....
--
FROM 222.129.4.*
我还以为推理时候都是把大模型load进来
感觉好多都是
多几轮对话容易爆显存
【 在 tgfbeta 的大作中提到: 】
: 加内存不是绝对必要，
: LLM的算力对于GPU来说不是瓶颈
: 问题在于怎么在最短时间把算好的东西挪走
: ...................
--
FROM 222.129.4.*
可能是给ipad air，mini之类的让路
扩大价格覆盖
【 在 Nicolussi 的大作中提到: 】
: 穷人能赚到什么钱，苹果出低配版，一方面是为了慈善，另一方面是维持市场占有率，博取当前穷人未来发达的可能性
: 从即时当前看，卖十台低配的利润，可能都未必有一台基础半的利润高
: 所以这次ipad去掉低配版，直接从基础版开始，销量肯定会降很多，但利润甚至可能更多
: ...................
--
FROM 222.129.4.*
就算顶配192G，也跑不了啥啊
【 在 chunhui 的大作中提到: 】
: 现在本地就可以跑，只不过要买顶配。
--
FROM 222.129.4.*
还是fp16的好点啊
要是来个512G，那就够了
不过估计也贵上天了
像末代intel刨丝器，30多万
【 在 tgfbeta 的大作中提到: 】
: 能啊
: 192G跑量化的70b模型没问题
: MoE应该也可以
--
FROM 211.22.147.*
那是量化的，这么说我24G的显卡也能跑
【 在 chunhui 的大作中提到: 】
: 可以跑。他们说48G就可以跑70b的模型。
--
FROM 211.22.147.*