想搞大模型微调，应该配什么样子的主机呢

水木社区手机版

主题:想搞大模型微调，应该配什么样子的主机呢
楼主|Dong12138|2025-07-09 19:06:39|只看此ID
如题，业余没事想弄着玩，除了GPU，应该把预算的大头花在哪呢？
--
FROM 106.11.41.*
1楼|lengxinyi|2025-07-09 19:53:50|只看此ID
除了GPU就没有了，不过还是建议你买云算力

【在 Dong12138 的大作中提到: 】
: 标题: 想搞大模型微调，应该配什么样子的主机呢
: 发信站: 水木社区 (Wed Jul 9 19:06:39 2025), 站内
:
: 如题，业余没事想弄着玩，除了GPU，应该把预算的大头花在哪呢？
: --
:
: ※ 来源:·水木社区 http://www.mysmth.net·[FROM: 106.11.41.*]
--
FROM 123.119.74.*
2楼|tmj012003|2025-07-09 21:08:08|只看此ID
是的，大模型搞下去没底的，一般个人扛不住

租着试试再说

【在 lengxinyi 的大作中提到: 】
: 除了GPU就没有了，不过还是建议你买云算力
:
--
FROM 223.64.8.*
3楼|laserboy|2025-07-12 07:09:12|只看此ID
我同意上面两位站友的观点。不过真要买，除了GPU，剩下第二重要的就是CPU，看预算，弄一颗单核算力相对高，I/O性能好的，GPU如果是pcie 4.0的，那CPU的pcie总线也得对应，内存至少32GB，硬盘要nvme的固态盘，要不加载大模型得急死。剩下的零件应该不算大头了吧
【在 Dong12138 的大作中提到: 】
: 如题，业余没事想弄着玩，除了GPU，应该把预算的大头花在哪呢？ ...
--
FROM 114.252.221.*
4楼|Multimeter|2025-07-12 07:54:04|只看此ID
这得多少预算
【在 Dong12138 的大作中提到: 】
: 如题，业余没事想弄着玩，除了GPU，应该把预算的大头花在哪呢？
: --
:

发自「今日水木 on V1934A」
--
FROM 106.38.155.*
5楼|number8|2025-07-12 09:02:56|只看此ID
GPU或者算力
--
FROM 36.112.193.*
6楼|Astudent|2025-07-12 12:08:05|只看此ID
预算无上限，但是如果就想玩玩，买志强洋垃圾来组机，我在b站上见过5000多的，部署deepseek
【在 Dong12138 的大作中提到: 】
: 如题，业余没事想弄着玩，除了GPU，应该把预算的大头花在哪呢？ ...
--
FROM 36.21.70.*
7楼|timoqi|2025-07-12 14:05:04|只看此ID
GPU 4090 应该就可以玩玩了，要再高就云上吧
--
FROM 183.195.103.*
8楼|finlab|2025-07-12 15:25:31|只看此ID
thinkstation px 4显卡

【在 Dong12138 的大作中提到: 】
: 如题，业余没事想弄着玩，除了GPU，应该把预算的大头花在哪呢？
--
FROM 60.222.168.*