搬运hacker news？早有了
【 在 tgfbeta 的大作中提到: 】
: https://www.evanmiller.org/attention-is-off-by-one.html  
:  
: Softmax有大问题，导致大模型会生成一些离群激活  
:  
: 这个bug是一个off-by-one bug  
:  
: 有bug的softmax在输入都是负无穷
: ..................

发自「今日水木 on iPhone 13 Pro Max」
--
FROM 124.217.189.*