我很纳闷，mHC跟长推理链条有关系吗？

mHC实际上是在给字节的HC擦屁股，在获得HC的一些改善的同时，用双随矩阵约束多个残差流，不至于过度放大或者过度缩小总的残差信息，从而解决HC带来的梯度爆炸和梯度消失问题

上下文加长，主要是CSA HCA和滑动窗口的贡献吧






【 在 anylinkin 的大作中提到: 】
: mHC方法有助于降低长链推理的崩溃，但可能并不能降低推理的幻觉率，反而可能让这种
: 幻觉更难察觉（抛砖引玉交流版）
:
--
FROM 113.120.108.*