Flash Attention 致 BGE-M3 等模型掉点及底层原因

由于 Sentence Transformers 在启用 flashattention2 时会将纯文本 batch pack 成单序列，其 packed 位置编号与 RoBERTa 架构存在不兼容问题。这导致了严重的性能下降，例如 BAAI/bge-m3 模型在修复前的 STSB test Spearman 指标从 0.8485 大幅跌落至 0.7239。

2026-07-23 ~ 2026-07-23 · 2 条相关

事件全程(共 2 集)→

• 第 1 集:Flash Attention 致 BGE-M3 等模型掉点及底层原因(2026-07-23,2 条)
• 第 2 集:Sentence Transformers 5.6.1 修复 Flash Attention 嵌入退化(2026-07-23,3 条)

• Sentence Transformers 的 packed 位置编号对 RoBERTa 不兼容 — tomaarsen · 2026-07-23
• BAAI/bge-m3 在 flash attention 下曾明显掉点 — tomaarsen · 2026-07-23