1.重要的在于训练数据的增强和选择，而不是模型参数，1750亿参数对于现在能收集到的数据远远过拟合了
2.有一种神秘的用千分之一成本判断超参数效果的方法，于是OpenAI可以用很小的成本决定大模型的训练方向
3.使用一个叫whisper的语音转文字模型，将互联网上没被文字化的数据通通文字化，增加训练数据池
--
FROM 113.67.98.*