https://www.bilibili.com/video/BV1U84y167i3/
【 在 phoenixhills 的大作中提到: 】
--
FROM 125.38.177.*

除了open ai的人员没人说得清，人家又没开源又没发论文。
非open ai人员说原理的百分百胡说八道。如果加上猜测啥的，还算有自知之明。
【 在 phoenixhills 的大作中提到: 】
--
修改:cst12345 FROM 61.156.119.*
FROM 61.156.119.*

简单的说，nlp领域，自从诞生了transformer之后，就是gpt和bert相爱相杀的两条路线之争。
gpt是单向的预测，也就是给你上文让你写下文。
bert是双向预测，也就是随机挖掉一部分让你做完形填空。

bert的任务更为简单，同等参数规模下也比gpt好。大家也更容易基于bert去跟进，所以很长时间内gpt的影响力都远不如bert。gpt123三代在架构上几乎一致，主要区别都是参数规模和数据规模，给人以只是在“大力出奇迹”的感觉。
但openai在gpt这条路线上始终有自己的坚持，到现在人们终于看到了，这条路的上限更高，大力真的能出奇迹...

再进一步的原理细节，我觉得就没啥了。诸如gpt3.5,instructGPT等等之类的只是在gpt这条路线上的细节修补。chatgpt的本质，依然跟gpt123一样，就是让ai学会去续写小作文，仅此而已。

【 在 phoenixhills 的大作中提到: 】
--
修改:lvsoft FROM 180.158.59.*
FROM 180.158.59.*

看来各种GPT以后还是要依靠硬件的算力增长才有前途
【 在 lvsoft 的大作中提到: 】
:  
: 简单的说，nlp领域，自从诞生了transformer之后，就是gpt和bert相爱相杀的两条路线之争。  
: gpt是单向的预测，也就是给你上文让你写下文。  
: bert是双向预测，也就是随机挖掉一部分让你做完形填空。  
:
: bert的任务更为简单，同等参数规模下也比gpt
: ..................

发自「今日水木 on NOH-AN00」
--
FROM 124.64.22.*

没人能讲得清楚，除非你有代码。
双向预测理论上都会说，肯定比单向好啊，信息多。
这就是算法的魅力，谁也抄不到。哈哈。


【 在 lvsoft 的大作中提到: 】
: 简单的说，nlp领域，自从诞生了transformer之后，就是gpt和bert相爱相杀的两条路线之争。
: gpt是单向的预测，也就是给你上文让你写下文。
: bert是双向预测，也就是随机挖掉一部分让你做完形填空。
: ...................
--
FROM 123.127.16.*