FlashAttention 大数相减隐患引热议

有开发者发文讨论 attention kernel 的数值稳定性，指出 FlashAttention 的实现其实是脆弱的：exp(sij - lse) 本质上是大数相减问题。作者进一步说明，即使不用 FlashAttention，这个难题依然存在，因为 stable softmax 总要减去最大值；他因此提出思路，或许只需保证前向与反向计算的一致性，即可缓解该数值问题。

2026-10-04 ~ 2026-10-04 · 2 条相关