- 主题:据说用m4 macmini可以替代4090显卡搞ai？
感觉最低配只能训练一些小模型，大的模型还是得依赖统一内存够大。再一个计算能力也不一定比得过同价位显卡。如果是128g顶配m4max,用来做llm本地推理倒是挺棒的，先不论速度怎么样，至少不会爆显存。毕竟相当于4块4090的显存。
--
FROM 106.121.81.*
我自己用黑苹果6600xt显卡训过小模型，macos的pytorch mps后端，内存24g,好处是内存有压力的时候会用swap分区。但是依然明显感觉到8g显存+24g内存不是很够。后来想着把内存加到64g试试来着，但是现在云上的显卡很便宜了，显存又大，浮点数运算又快，只需要一小时几块钱，和小时候去网吧差不多，就不折腾macos了。苹果的内存太金贵，24g统一内存要加那么多钱，不如云上租显卡。
【 在 chunhui 的大作中提到: 】
: 128G的太贵了。我也只是好奇想试试。不是专门干这个的。不划算。
--
FROM 106.121.81.*
如果只是学着玩一玩，手写个反向传播，小数据集mnist之类的跑一跑。或者自有数据集几万条数据训练个模型之类的。最低配m4 mac mini我觉得没啥问题。比一般的8g显存显卡强，虽然浮点计算未必能超过4060，但是显存大啊，从这个角度来说，比单独买一张显卡强。如果数据模型规模超过16g,一律建议云上租显卡。现在有的云上单显卡24g显存一小时才两块钱。
【 在 chunhui 的大作中提到: 】
: 128G的太贵了。我也只是好奇想试试。不是专门干这个的。不划算。
--
FROM 106.121.81.*
数据不许上云那就没办法啦，但是这种场景是不是应该单位给报销一台128g m4 max呢？我不信有谁的个人数据是不能上云的，如果是工作需要不能上云，那也不能自己贴钱打工啊！明显是是单位太抠了，显卡都不给买。
【 在 tgfbeta 的大作中提到: 】
: 如果你的数据不许上云呢？
: 如果不做微调，预算有限，还是可以先拿苹果对付一下的
--
FROM 106.121.9.*
这里说的是模型的规模，如果从头训练一个深度神经网络，模型规模太大的话，会爆16g显存。具体取决于你模型结构和参数，以及batchsize的大小，例如几百万左右参数的模型可能就爆了。何况macmini16g，可用的显存也就10g左右？具体没用过。
【 在 zhangcx 的大作中提到: 】
: 这个数据模型规模16g是什么意思啊
--
FROM 106.121.187.*