我觉得原因有两个：
1. 显卡不是你家出的，你没法让老黄开放在cuda计算时利用外置存储。
2.退一步说，如果显卡驱动放开了，那也是用内存啊，家用工作站级别的主板上300多GB内存轻轻松松，考虑用硬盘这种又慢寿命又低的玩意基本只是行为艺术。
【 在 Xjt (Voldemort) 的大作中提到: 】
: 一直不太理解，为什么训练大模型不能利用SSD
:
: 现在制约大模型训练和推理的，根本不是芯片速度，而是内存。想要全量微调一个6B的大模型，就得有320G显存，就得4块A100。
:
--
FROM 126.75.116.*