attenion 里的Q,K,V参数是怎么训练出来的

水木社区手机版

主题:attenion 里的Q,K,V参数是怎么训练出来的
1楼|dreamr|2025-03-10 21:35:27|展开
Q K V 是三类矩阵，它们的参数都属于神经网络的范畴，因此训练神经网络的时候，所有参数都有会发生变化，包括三类矩阵的参数。
--
FROM 114.246.111.*
4楼|dreamr|2025-03-11 21:02:44|展开
预训练阶段不需要人工标注，基础模型训练出来之后还要精调，这时才需要用到人工标注的数据

【在 juda 的大作中提到: 】
: 是监督训练么，需要人工标注么
: 发自「今日水木 on V2178A」
--
FROM 114.246.111.*