BAAI/bge-m3 在 flash attention 下曾明显掉点
tomaarsen · x · 2026-07-23
修复前，BAAI/bge-m3 在 flash attention 下的效果明显变差：
- STSB test Spearman：0.8485 → 0.7239
- NanoBEIR mean nDCG@10：0.6041 → 0.5414
补丁生效后，质量可以完全恢复，而 packing 带来的速度提升仍然保留。
所属事件:Flash Attention 致 BGE-M3 等模型掉点及底层原因(2 条相关)→
「研究」频道最新
- AutoCAD-Bench 测试精确 CAD 任务，GPT 5.6 sol 以 46% 领跑 — DevvMandal · 2026-07-24
- Convokebio 发布面向人和 LLM 的免费药物数据库 — akilian · 2026-07-24
- 帖子称论文数量不该代表研究质量，赞帝国理工只看三篇代表作 — ZeeshanZiaML · 2026-07-24
- RoboPapers 预告人类通用抓取 HUG 主题节目 — chris_j_paxton · 2026-07-24
- Photon-1 仅凭 18 年无标注录屏学会用电脑 — ycombinator · 2026-07-24
- GoodfireAI 用生物样本库和临床数据验证基因变体预测 — leedsharkey · 2026-07-24