大数相减难题不止 FA：softmax 数值稳定或只能靠 fwd-bwd 一致性
YouJiacheng · x · 2026-10-04
接上一条讨论，作者指出这个大数相减问题即使不用 FlashAttention 也存在，因为 stable softmax 总是需要减去最大值。他因此提出一个思路：也许只需要保证 forward-backward 一致性即可，并对此表示无奈（":("）。
所属事件:FlashAttention 大数相减隐患引热议(2 条相关)→
「研究」频道最新
- 从锁相环到Kuramoto模型：相位同步与陀管的科普导论 — stevenstrogatz · 2026-10-04
- ICLR 官方模板把 Bengio 列了两次,六年来无人发现 — tughanbulut · 2026-10-04
- kalomaze：LoRA 里权重衰减更像正则回基座而非惩罚权重 — kalomaze · 2026-10-04
- 人类样本效率远超 LLM,找到大脑算法优势堪比注意力机制 — burny_tech · 2026-10-04
- 清华北大登 Nature 子刊：语言不等于思考，LLM 究竟学到了什么 — jiqizhixin · 2026-10-04
- Judea Pearl 宣布《The Book of Why》10月推出第二版 — yudapearl · 2026-10-04