Sentence Transformers 5.6.1 修复 RoBERTa 闪存注意力降质 bug
tomaarsen · x · 2026-07-23
Sentence Transformers v5.6.1 修复了一个静默降质的 flash attention 回归问题，主要影响 RoBERTa/XLM-R 家族 checkpoint 的 packed 文本路径。
- 从 v5.5.0 起，文本 batch 在启用 flashattention2 时会被 pack 成单序列；但 packed 后的 positionids 会对每段文本都从 0 重新开始。
- RoBERTa/XLM-R 这类模型实际期望的是 paddingidx + 1 的位置编号，因此每个 token 都会读到偏移过的位置嵌入，不会报错，但表示质量会悄悄变差。
- 作者给出的例子里，BAAI/bge-m3 在 flash attention 下 STSB test Spearman 从 0.8485 降到 0.7239，NanoBEIR mean nDCG@10 从 0.6041 降到 0.5414。
- 修复后质量可以完全恢复，同时 packing 带来的速度收益仍然保留。
所属事件:Sentence Transformers 5.6.1 修复 Flash Attention 嵌入退化(3 条相关)→
「编程与Agent」频道最新
- Claude 变成 Atlas，用两个免费 MCP 工具管起 6 个 Agent — Han_Thot_Terse · 2026-07-23
- Greptile 把使命定为自动化代码验证 — garrytan · 2026-07-23
- Anthropic 称 Claude 已生成八成代码，仍靠人工审批守住流程 — rseroter · 2026-07-23
- Domenic Denicola 公布 2026 年 7 月的编程智能体方案 — cnakazawa · 2026-07-23
- 生产级 Agent 不止工具调用，还要上下文层 — Pavan_Belagatti · 2026-07-23
- ChatGPT Sites 现在能在对话里直接搭建并部署全栈应用 — reach_vb · 2026-07-23