别一上来就说没有，有框架支持 offload 到本地磁盘呀，deepspeed 可以。一般用 NVMe 盘。  
  
【 在 Xjt (Voldemort) 的大作中提到: 】
:  一直不太理解，为什么训练大模型不能利用SSD
:  
:  现在制约大模型训练和推理的，根本不是芯片速度，而是内存。想要全量微调一个6B的大模型，就得有320G显存，就得4块A100。
:  
--
FROM 125.119.104.*