https://www.evanmiller.org/attention-is-off-by-one.html

Softmax有大问题，导致大模型会生成一些离群激活

这个bug是一个off-by-one bug

有bug的softmax在输入都是负无穷的时候，极限是1/k （k是向量的维度）

打补丁的softmax在这时是0

这对quantization可能狠重要
--
修改:tgfbeta FROM 125.38.177.*
FROM 125.38.177.*