水木社区手机版
- 主题:transformer模型的问题
- transformer模型做翻译的时候，encoder之后，变成word2vec词料库的向量，
又是如何decoder到目标语言的？decoder是何时指定目标语言的？词料库里面有不同语言的数据吗？是不是一条向量可以从词料库里面按参数选出不同语言的词汇？
--
FROM 61.144.173.* - 翻译是哪部分实现的？
【 在 tgfbeta 的大作中提到: 】
: 你说的是tokenize吧？encoder和decoder是transformer的工作不是tokenizer的
--
FROM 113.104.213.* - inputs是德语，outputs是英语，训练过程就是大量翻译好的德英材料？
是不是这样训练出来的参数，只能做德语->英语的翻译？还是双向翻译都可以？
【 在 giant85 的大作中提到: 】
: decoder做的。 你第一条的理解是对的。
: tokenize与翻译无关， nlp都要先做tokenize和embedding这些， 不论翻译和生成
--
FROM 113.104.213.* - Apple用苹果来判断概率比较高，可以理解。
Apple是如何挑选苹果来判断呢？它如何确定备选集合的？是模型的记忆（存储）了备选集合吗？
Apple是如何排除”汽车，火车，轮船，飞机，火箭，凤梨，芭乐，香蕉“等等词汇，
如果把所有的词汇都判断一遍，那是不是会忒慢了。
【 在 shanghuo 的大作中提到: 】
: 跟训练数据有关
: 当你的训练数据是：Apple --> 苹果
: 假设只有这一条训练数据。模型在推理的时候，
: ...................
--
FROM 113.104.213.*