你看看这篇论文:
Colocating ML Inference and Training with Fast
GPU Memory Handover
Jiali Wang, Yankui Wang, Mingcong Han, and Rong Chen, Institute of Parallel and
Distributed Systems, Shanghai Jiao Tong University
和github上配置的项目:
SiriusInfTra/Sirius
华为对大规模训推算力平台的简介中也明确提到:
“算力平台支持推理/训练任务灵活切换,实现时分复用;同时支持算力切分、一卡多用,实现空分复用。”
【 在 cpper 的大作中提到: 】
: 这个不要乱讲,训练和推理对卡的要求不一样,另外这种大模型用潮汐资源来训练影响了效果得不偿失
: #发自zSMTH@LNA-AL00
--
修改:qgg FROM 221.218.157.*
FROM 221.218.157.*