- 主题:据说用m4 macmini可以替代4090显卡搞ai？
请问最低配置能这么搞的是啥？学习目的。
--
FROM 117.133.52.*
感觉最低配只能训练一些小模型，大的模型还是得依赖统一内存够大。再一个计算能力也不一定比得过同价位显卡。如果是128g顶配m4max,用来做llm本地推理倒是挺棒的，先不论速度怎么样，至少不会爆显存。毕竟相当于4块4090的显存。
--
FROM 106.121.81.*
128G的太贵了。我也只是好奇想试试。不是专门干这个的。不划算。
【 在 systemID 的大作中提到: 】
: 感觉最低配只能训练一些小模型，大的模型还是得依赖统一内存够大。再一个计算能力也不一定比得过同价位显卡。如果是128g顶配m4max,用来做llm本地推理倒是挺棒的，先不论速度怎么样，至少不会爆显存。毕竟相当于4块4090的显存。
--
FROM 117.133.52.*
我自己用黑苹果6600xt显卡训过小模型，macos的pytorch mps后端，内存24g,好处是内存有压力的时候会用swap分区。但是依然明显感觉到8g显存+24g内存不是很够。后来想着把内存加到64g试试来着，但是现在云上的显卡很便宜了，显存又大，浮点数运算又快，只需要一小时几块钱，和小时候去网吧差不多，就不折腾macos了。苹果的内存太金贵，24g统一内存要加那么多钱，不如云上租显卡。
【 在 chunhui 的大作中提到: 】
: 128G的太贵了。我也只是好奇想试试。不是专门干这个的。不划算。
--
FROM 106.121.81.*
如果只是学着玩一玩，手写个反向传播，小数据集mnist之类的跑一跑。或者自有数据集几万条数据训练个模型之类的。最低配m4 mac mini我觉得没啥问题。比一般的8g显存显卡强，虽然浮点计算未必能超过4060，但是显存大啊，从这个角度来说，比单独买一张显卡强。如果数据模型规模超过16g,一律建议云上租显卡。现在有的云上单显卡24g显存一小时才两块钱。
【 在 chunhui 的大作中提到: 】
: 128G的太贵了。我也只是好奇想试试。不是专门干这个的。不划算。
--
FROM 106.121.81.*
有道理。自己只是试试，没必要花那么多钱。
【 在 systemID 的大作中提到: 】
: 我自己用黑苹果6600xt显卡训过小模型，macos的pytorch mps后端，内存24g,好处是内存有压力的时候会用swap分区。但是依然明显感觉到8g显存+24g内存不是很够。后来想着把内存加到64g试试来着，但是现在云上的显卡很便宜了，显存又大，浮点数运算又快，只需要一小时几块钱，和小
: 时候去网吧差不多，就不折腾macos了。苹果的内存太金贵，24g统一内存要加那么多钱，不如云上租显卡。
--
FROM 117.133.52.*
了解！学习了。
【 在 systemID 的大作中提到: 】
: 如果只是学着玩一玩，手写个反向传播，小数据集mnist之类的跑一跑。或者自有数据集几万条数据训练个模型之类的。最低配m4 mac mini我觉得没啥问题。比一般的8g显存显卡强，虽然浮点计算未必能超过4060，但是显存大啊，从这个角度来说，比单独买一张显卡强。如果数据模型规模
: 16g,一律建议云上租显卡。现在有的云上单显卡24g显存一小时才两块钱。
--
FROM 117.133.52.*
如果你的数据不许上云呢？
如果不做微调，预算有限，还是可以先拿苹果对付一下的
【 在 systemID 的大作中提到: 】
: 我自己用黑苹果6600xt显卡训过小模型，macos的pytorch mps后端，内存24g,好处是内存有压力的时候会用swap分区。但是依然明显感觉到8g显存+24g内存不是很够。后来想着把内存加到64g试试来着，但是现在云上的显卡很便宜了，显存又大，浮点数运算又快，只需要一小时几块钱，和小
: 时候去网吧差不多，就不折腾macos了。苹果的内存太金贵，24g统一内存要加那么多钱，不如云上租显卡。
--
FROM 60.24.248.*
数据不许上云那就没办法啦，但是这种场景是不是应该单位给报销一台128g m4 max呢？我不信有谁的个人数据是不能上云的，如果是工作需要不能上云，那也不能自己贴钱打工啊！明显是是单位太抠了，显卡都不给买。
【 在 tgfbeta 的大作中提到: 】
: 如果你的数据不许上云呢？
: 如果不做微调，预算有限，还是可以先拿苹果对付一下的
--
FROM 106.121.9.*
这个数据模型规模16g是什么意思啊
【 在 systemID (blade) 的大作中提到: 】
: 如果只是学着玩一玩，手写个反向传播，小数据集mnist之类的跑一跑。或者自有数据集几万条数据训练个模型之类的。最低配m4 mac mini我觉得没啥问题。比一般的8g显存显卡强，虽然浮点计算未必能超过4060，但是显存大啊，从这个角度来说，比单独买一张显卡强。如果数据模型规模超过16g,一律建议云上租显卡。现在有的云上单显卡24g显存一小时才两块钱。
: 【 在 chunhui 的大作中提到: 】
: : 128G的太贵了。我也只是好奇想试试。不是专门干这个的。不划算。
:
--
FROM 39.144.124.*