看来各种GPT以后还是要依靠硬件的算力增长才有前途
【 在 lvsoft 的大作中提到: 】
:
: 简单的说，nlp领域，自从诞生了transformer之后，就是gpt和bert相爱相杀的两条路线之争。
: gpt是单向的预测，也就是给你上文让你写下文。
: bert是双向预测，也就是随机挖掉一部分让你做完形填空。
:
: bert的任务更为简单，同等参数规模下也比gpt
: ..................
发自「今日水木 on NOH-AN00」
--
FROM 124.64.22.*