https://www.evanmiller.org/attention-is-off-by-one.html

Softmax有大问题，导致大模型会生成一些离群激活

这个bug是一个off-by-one bug

有bug的softmax在输入都是负无穷的时候，极限是1/k （k是向量的维度）

打补丁的softmax在这时是0

这对quantization可能狠重要
--
修改:tgfbeta FROM 125.38.177.*
FROM 125.38.177.*

搬运hacker news？早有了
【 在 tgfbeta 的大作中提到: 】
: https://www.evanmiller.org/attention-is-off-by-one.html  
:  
: Softmax有大问题，导致大模型会生成一些离群激活  
:  
: 这个bug是一个off-by-one bug  
:  
: 有bug的softmax在输入都是负无穷
: ..................

发自「今日水木 on iPhone 13 Pro Max」
--
FROM 124.217.189.*