简单的说,nlp领域,自从诞生了transformer之后,就是gpt和bert相爱相杀的两条路线之争。
gpt是单向的预测,也就是给你上文让你写下文。
bert是双向预测,也就是随机挖掉一部分让你做完形填空。
bert的任务更为简单,同等参数规模下也比gpt好。大家也更容易基于bert去跟进,所以很长时间内gpt的影响力都远不如bert。gpt123三代在架构上几乎一致,主要区别都是参数规模和数据规模,给人以只是在“大力出奇迹”的感觉。
但openai在gpt这条路线上始终有自己的坚持,到现在人们终于看到了,这条路的上限更高,大力真的能出奇迹...
再进一步的原理细节,我觉得就没啥了。诸如gpt3.5,instructGPT等等之类的只是在gpt这条路线上的细节修补。chatgpt的本质,依然跟gpt123一样,就是让ai学会去续写小作文,仅此而已。
【 在 phoenixhills 的大作中提到: 】
--
修改:lvsoft FROM 180.158.59.*
FROM 180.158.59.*