- 主题:mac跑大模型怎么样呢？
推理没问题。128G可以跑34B毫无压力，跑70b得量化了。还可以做作34B codeLlama的Lora fine-tune，就是坑很多，很多现成的fine-tune代码不能用，得自己写。
【 在 artech51 的大作中提到: 】
: 准备买个m3 max 128G跑大模型推理，gpu据说能用上？效果怎么样？
--
FROM 220.243.154.*
4090才多点显存啊。。。这玩意毫无用处。我自己的mac都32g内存，吊打4090。
【 在 artech51 的大作中提到: 】
: 4090的话是不是跑不了34B？
--
FROM 220.243.154.*
快也没意义，做推理就你一个人用，你要那么快干啥呢。做fine-tune的话，4090玩玩7B模型微调还是不错的
【 在 artech51 的大作中提到: 】
: 如果跑7B的话，4090比mbp顶配gpu会快多少呢？
: :
--
FROM 39.144.106.*
量化炒股？那点东西，不需要大模型吧。
现在个人还能弄到券商的量化接口嘛？怎么交易呢
【 在 artech51 的大作中提到: 】
: 我说了啊，我是想训练量化大模型，所以我当然需要快了，这样才能快速迭代
--
FROM 39.144.106.*