- 主题:有2080ti 44G了
我是想了解一下你的配置， 大约能做多大规模的训练，模型。
【 在 LYMing1986 的大作中提到: 】
: 廉价的至少可搭到单机上限吧
: 比如mi 100的8卡机，至少可以到2T内存+256G显存
: 不过我自己搞个双卡到四卡就足足够用了
: ...................
--
FROM 60.2.184.*
用的联想P510 32G *8 rdimm ，2070 16G， 2080ti 22G，1T sata固态，4T 机械矿盘， 850w电源
2080ti 22G单卡qlora 7b模型，batchsize=2
如果改用amd mi100，应该可以qlora 14b模型
知道2080ti、3090、amd instinct都可以用类似nvlink的桥提高卡间传输速率
也知道有框架可以是实现并行推理、并行训练
但没做过张量并行
如果新购，建议直接上新平台
比如amd epyc zen2，或intel xeon二代
因为最上面这个平台已经cpu瓶颈了，很多时候单核会跑满，毕竟两年前买的便宜货
而新平台已经廉价，单核性能倍提升，PCIE版本高、通道数也多，用着会舒心很多
【 在 bluemind 的大作中提到: 】
: 我是想了解一下你的配置， 大约能做多大规模的训练，模型。
:
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*
好的，谢谢
【 在 LYMing1986 的大作中提到: 】
: 用的联想P510 32G *8 rdimm ，2070 16G， 2080ti 22G，1T sata固态，4T 机械矿盘， 850w电源
: 2080ti 22G单卡qlora 7b模型，batchsize=2
: 如果改用amd mi100，应该可以qlora 14b模型
: ...................
--
FROM 60.2.184.*
随时交流~一起整！
现在是个机遇的时代
【 在 bluemind 的大作中提到: 】
: 好的，谢谢
:
--
FROM 124.126.186.*