- 主题:Ai几十年发展史兜了一大圈，又回到仿生的路子上了
改正：attention也不是transformer模型原创。
我觉得embedding才是革命性的想法，transformer不过解决了并行训练的问题。
【 在 reaphone 的大作中提到: 】
: 变形金刚的最大作用是支持自然语言对话了。
: 这之前CV和棋类对弈都相当成熟，但都不是革命性的。
:
: ...................
--
修改:booble FROM 112.41.21.*
FROM 112.41.21.*
对，是包含了语义信息的词向量，不是仅仅表示词汇表位置的词向量。
【 在 johnfader 的大作中提到: 】
: embedding就是词向量？
--
FROM 112.41.21.*
那你厉害，我原来对文字的理解就是一个符号，用什么样的方式表示都可以，只要能区分开不同的字符就行。但实际上文字不是单独存在的，文字之间有各种各样的关联关系，embedding里面存储了这些信息，所以大模型才能对自然语言有更深入的理解。
【 在 liaotianxia 的大作中提到: 】
: embedding算啥革命性想法，感觉我都想到过。就是把词映射到一个合理的向量空间里，这不是本来就应该做的事情吗。 transformer算是各种技术发展到一定程度，水到渠成的事情。
--
FROM 112.41.21.*
我个人感觉意义重大，相当于从自然语言处理变成了自然语言理解的跳跃。
【 在 liaotianxia 的大作中提到: 】
: 20多年前搞基于内容的搜索，第一步可不就是先做特征向量的提取，提取的越接近于文本、图片本来的空间分布，搜索效果越好。这真不算啥创新型的想法。
--
FROM 112.41.21.*