那你厉害，我原来对文字的理解就是一个符号，用什么样的方式表示都可以，只要能区分开不同的字符就行。但实际上文字不是单独存在的，文字之间有各种各样的关联关系，embedding里面存储了这些信息，所以大模型才能对自然语言有更深入的理解。

【 在 liaotianxia 的大作中提到: 】
: embedding算啥革命性想法，感觉我都想到过。就是把词映射到一个合理的向量空间里，这不是本来就应该做的事情吗。  transformer算是各种技术发展到一定程度，水到渠成的事情。
--
FROM 112.41.21.*