那你厉害,我原来对文字的理解就是一个符号,用什么样的方式表示都可以,只要能区分开不同的字符就行。但实际上文字不是单独存在的,文字之间有各种各样的关联关系,embedding里面存储了这些信息,所以大模型才能对自然语言有更深入的理解。
【 在 liaotianxia 的大作中提到: 】
: embedding算啥革命性想法,感觉我都想到过。就是把词映射到一个合理的向量空间里,这不是本来就应该做的事情吗。 transformer算是各种技术发展到一定程度,水到渠成的事情。
--
FROM 112.41.21.*