- 主题:mac跑大模型怎么样呢？
准备买个m3 max 128G跑大模型推理，gpu据说能用上？效果怎么样？
--
FROM 39.144.106.*
4090的话是不是跑不了34B？
【 在 Xjt 的大作中提到: 】
: 推理没问题。128G可以跑34B毫无压力，跑70b得量化了。还可以做作34B codeLlama的Lora fine-tune，就是坑很多，很多现成的fine-tune代码不能用，得自己写。
--
FROM 139.227.98.*
我就趁着4090被禁前买了一个，想着反正不玩了也能出个好价钱
其实我不需要训练大模型，我是需要一些深度学习模型搞量化
【 在 Xjt 的大作中提到: 】
: 4090才多点显存啊。。。这玩意毫无用处。我自己的mac都32g内存，吊打4090。
--
FROM 139.227.98.*
如果跑7B的话，4090比mbp顶配gpu会快多少呢？
【 在 omelet 的大作中提到: 】
: 估算的话，干脆直接记 1就好了，也就是 7B-BF 就是 7 * 2 = 14 GB 的显存，因为除了参数，推理还需要另外的显存，溢出一点没坏处。
:
--
FROM 139.227.98.*
我说了啊，我是想训练量化大模型，所以我当然需要快了，这样才能快速迭代
【 在 Xjt 的大作中提到: 】
: 快也没意义，做推理就你一个人用，你要那么快干啥呢。做fine-tune的话，4090玩玩7B模型微调还是不错的
--
FROM 139.227.98.*
量化炒股确实用不到大模型，所以我关注速度
我问大模型是因为我不想搞清楚显存上限
所以我后来说了我更关注速度啊
个人当然能弄到，我用的是华鑫的
【 在 Xjt 的大作中提到: 】
: 量化炒股？那点东西，不需要大模型吧。
: 现在个人还能弄到券商的量化接口嘛？怎么交易呢
--
FROM 139.227.98.*
谢谢哈
【 在 omelet 的大作中提到: 】
: 可以看看ｌａｍａ。ｃｐｐ，看看有没有具体benchmark
:
--
FROM 139.227.98.*