一直不太理解，为什么训练大模型不能利用SSD

现在制约大模型训练和推理的，根本不是芯片速度，而是内存。想要全量微调一个6B的大模型，就得有320G显存，就得4块A100。

如果只有一块A100，利用80G显存+240G SSD，理论上完全应该可以做到能全量微调一个6B的大模型。为什么没任何算法或者框架向着这个方向开发呢？

别告诉我会慢啊，我知道会慢，但原来4块A100运行几个小时，现在1块A100运行一周。也不是不能等啊。何况只要算法做得好，未必会慢超过10倍。
--
FROM 220.243.154.*