用的联想P510 32G *8 rdimm ，2070 16G， 2080ti 22G，1T sata固态，4T 机械矿盘， 850w电源
2080ti 22G单卡qlora 7b模型，batchsize=2
如果改用amd mi100，应该可以qlora 14b模型

知道2080ti、3090、amd instinct都可以用类似nvlink的桥提高卡间传输速率
也知道有框架可以是实现并行推理、并行训练
但没做过张量并行

如果新购，建议直接上新平台
比如amd epyc zen2，或intel xeon二代
因为最上面这个平台已经cpu瓶颈了，很多时候单核会跑满，毕竟两年前买的便宜货
而新平台已经廉价，单核性能倍提升，PCIE版本高、通道数也多，用着会舒心很多
【 在 bluemind 的大作中提到: 】
: 我是想了解一下你的配置， 大约能做多大规模的训练，模型。
:
--
修改:LYMing1986 FROM 124.126.186.*
FROM 124.126.186.*