- 主题:希望M4的Mac别再8G起步了
可能是给ipad air，mini之类的让路
扩大价格覆盖
【 在 Nicolussi 的大作中提到: 】
: 穷人能赚到什么钱，苹果出低配版，一方面是为了慈善，另一方面是维持市场占有率，博取当前穷人未来发达的可能性
: 从即时当前看，卖十台低配的利润，可能都未必有一台基础半的利润高
: 所以这次ipad去掉低配版，直接从基础版开始，销量肯定会降很多，但利润甚至可能更多
: ...................
--
FROM 222.129.4.*
现在本地就可以跑，只不过要买顶配。
【 在 omelet 的大作中提到: 】
: 不现实
: 各大厂堆大量的算力支持的
: 想在本地跑出这个结果是不现实的
: ...................
--
FROM 111.196.132.*
就算顶配192G，也跑不了啥啊
【 在 chunhui 的大作中提到: 】
: 现在本地就可以跑，只不过要买顶配。
--
FROM 222.129.4.*
KV-cache是会爆显存的
模型也是会爆的
那是因为计算单元在GPU上
有人用服务器RAID加CPU搞mmap
不要内存也可以
因为RAID和PCIe太宽了
【 在 omelet 的大作中提到: 】
: 我还以为推理时候都是把大模型load进来
: 感觉好多都是
: 多几轮对话容易爆显存
: ...................
--
FROM 60.24.248.*
能啊
192G跑量化的70b模型没问题
MoE应该也可以
【 在 omelet 的大作中提到: 】
: 就算顶配192G，也跑不了啥啊
--
FROM 60.24.248.*
你要那么多钱是干啥的
【 在 chunhui 的大作中提到: 】
: 你要那么多内存性能是干啥的？
--
FROM 119.123.53.*
可以跑。他们说48G就可以跑70b的模型。
【 在 omelet 的大作中提到: 】
: 就算顶配192G，也跑不了啥啊
--
FROM 111.196.132.*
内存小只能跑量化过的
【 在 chunhui 的大作中提到: 】
: 可以跑。他们说48G就可以跑70b的模型。
--
FROM 60.24.248.*
还是fp16的好点啊
要是来个512G，那就够了
不过估计也贵上天了
像末代intel刨丝器，30多万
【 在 tgfbeta 的大作中提到: 】
: 能啊
: 192G跑量化的70b模型没问题
: MoE应该也可以
--
FROM 211.22.147.*
那是量化的，这么说我24G的显卡也能跑
【 在 chunhui 的大作中提到: 】
: 可以跑。他们说48G就可以跑70b的模型。
--
FROM 211.22.147.*