GPT-4帮他们找到了训练GPT-5的秘诀
GPT-5帮他们找到了训练GPT-6的秘诀.。。。
人工智能呈现出指数级发展。。。。
【 在 acseed 的大作中提到: 】
: 1.重要的在于训练数据的增强和选择，而不是模型参数，1750亿参数对于现在能收集到的数据远远过拟合了
: 2.有一种神秘的用千分之一成本判断超参数效果的方法，于是OpenAI可以用很小的成本决定大模型的训练方向
: 3.使用一个叫whisper的语音转文字模型，将互联网上没被文字化的数据通通文字化，增加训练数据池
--
FROM 221.219.98.*