谁和你说pre-train了，我在说全量微调。
【 在 bigtank 的大作中提到: 】
: 问题就是在大模型领域，性能不够就等于不能。
: GPT4训练一次要100天，用了2.5万个A100。考虑用ssd的性能差异，训练时长要成倍上涨。假设训练时长涨到1000天，那就没有商业化的可能了。
: :有很多优化方案可以提速，更何况一边是显卡不够导致能不能的问题，一边是等多久的问题，这不是很简单的选择嘛？
: ...................
--
FROM 220.243.154.*