有开源的成果可以用，搜bloom，有176B参数，闭源的GPT-3是175B，跑预训练好的模型大约需要380G显存，至少5张A100，不知道能否5张拼起来？
从头训练就别想了，人家接受企业捐款用集群跑了三个多月
【 在 wwpty 的大作中提到: 】
: 有开源又便宜的解决方案吗？
--
FROM 113.68.89.*