embedding算啥革命性想法，感觉我都想到过。就是把词映射到一个合理的向量空间里，这不是本来就应该做的事情吗。  transformer算是各种技术发展到一定程度，水到渠成的事情。
【 在 booble 的大作中提到: 】
: 改正：attention也不是transformer模型原创。
: 我觉得embedding才是革命性的想法，transformer不过解决了并行训练的问题。
:
--
FROM 1.202.170.*