综合目前可知的信息,两个多月来火遍全球的颠覆性人机对话系统chat-gpt仍沿袭着RNN、自注意力机制和Transformer等早已公开见诸文献的主流深度学习模型元素,可能并没有实质性的模型创新,更没有源头创新。一句话,目前chat-gpt很可能是由增量式进步累积而形成的突破,并不代表研究范式或基础理论的变革。
在很多人的印象里,天朝是适合做这种增量式技术迭代的。而且,chat-gpt通过堆积GPU来扩大可学习参数空间的做法,也很适合天朝“集中力量办大事”的政府主导“大科研”模式。但是,chat-gpt的成功并未首先出现在天朝。
题外话:马斯克是研发了chat-gpt的openai公司的创始人之一,为这位伟大的企业家和科技发展领导者点赞。
--
修改:touareg FROM 111.164.103.*
FROM 111.164.103.*