Sentence Transformers 的 packed 位置编号对 RoBERTa 不兼容
tomaarsen · x · 2026-07-23
从 v5.5.0 起，Sentence Transformers 在启用 flashattention2 时会把纯文本 batch pack 成单序列。
问题出在 packed 后的 positionids：它会在每段文本里都从 0 重启，但 RoBERTa 家族模型期望的是 paddingidx + 1。结果是每个 token 都读到了偏移的位置嵌入，表现会悄悄变差，但不会崩溃。
所属事件:Flash Attention 致 BGE-M3 等模型掉点及底层原因(2 条相关)→
「研究」频道最新
- AutoCAD-Bench 测试精确 CAD 任务，GPT 5.6 sol 以 46% 领跑 — DevvMandal · 2026-07-24
- Convokebio 发布面向人和 LLM 的免费药物数据库 — akilian · 2026-07-24
- 帖子称论文数量不该代表研究质量，赞帝国理工只看三篇代表作 — ZeeshanZiaML · 2026-07-24
- RoboPapers 预告人类通用抓取 HUG 主题节目 — chris_j_paxton · 2026-07-24
- Photon-1 仅凭 18 年无标注录屏学会用电脑 — ycombinator · 2026-07-24
- GoodfireAI 用生物样本库和临床数据验证基因变体预测 — leedsharkey · 2026-07-24