简单的说，nlp领域，自从诞生了transformer之后，就是gpt和bert相爱相杀的两条路线之争。
gpt是单向的预测，也就是给你上文让你写下文。
bert是双向预测，也就是随机挖掉一部分让你做完形填空。

bert的任务更为简单，同等参数规模下也比gpt好。大家也更容易基于bert去跟进，所以很长时间内gpt的影响力都远不如bert。gpt123三代在架构上几乎一致，主要区别都是参数规模和数据规模，给人以只是在“大力出奇迹”的感觉。
但openai在gpt这条路线上始终有自己的坚持，到现在人们终于看到了，这条路的上限更高，大力真的能出奇迹...

再进一步的原理细节，我觉得就没啥了。诸如gpt3.5,instructGPT等等之类的只是在gpt这条路线上的细节修补。chatgpt的本质，依然跟gpt123一样，就是让ai学会去续写小作文，仅此而已。

【 在 phoenixhills 的大作中提到: 】
--
修改:lvsoft FROM 180.158.59.*
FROM 180.158.59.*