attenion 里的Q,K,V参数是怎么训练出来的

水木社区手机版

主题:attenion 里的Q,K,V参数是怎么训练出来的
楼主|juda|2025-03-10 18:30:00|展开
查了半天都没说这几个参数咋训练的，语料是怎么准备的，需要怎么标注等等
--
FROM 223.72.208.*
2楼|juda|2025-03-10 23:56:14|展开
是监督训练么，需要人工标注么
【在 dreamr 的大作中提到: 】
:
: Q K V 是三类矩阵，它们的参数都属于神经网络的范畴，因此训练神经网络的时候，所有参数都有会发生变化，包括三类矩阵的参数。
: --
: 如果开始回忆过去，说明你正在变老
:

发自「今日水木 on V2178A」
--
FROM 221.223.194.*