超算能不能用来训练大模型？

水木社区手机版

主题:超算能不能用来训练大模型？
14楼|LYMing1986|2023-12-01 21:02:47|展开
能，跑mpi就行

【在 navyyang 的大作中提到: 】
: 完全不是一个概念的方式。
: 真用超算去做，能做但是效率极低。
--
FROM 120.244.234.*
15楼|LYMing1986|2023-12-01 21:04:12|展开
前几年，模型都是用cpu集群训练的
所以超算当然可以用来训练大模型，而且超算有超大内存的优势
只是训练速度慢一些
--
FROM 120.244.234.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版