现在最大的瓶颈是在多卡协同之后的效率，就单卡性能而言，昇腾已经可以和A100比拟了。

多卡协同效率做不好，你能加多大的SSD？1T，还是1000T，还是更多？意义是什么？


【 在 Xjt 的大作中提到: 】
: 一直不太理解，为什么训练大模型不能利用SSD
: 现在制约大模型训练和推理的，根本不是芯片速度，而是内存。想要全量微调一个6B的大模型，就得有320G显存，就得4块A100。
: 如果只有一块A100，利用80G显存+240G SSD，理论上完全应该可以做到能全量微调一个6B的大模型。为什么没任何算法或者框架向着这个方向开发呢？
: ...................
--
FROM 223.72.42.*