蚂蚁 Repo-Premium 基准:公平评测下 BM25 可追平稠密检索

_reachsumit · x · 2026-11-18

蚂蚁集团发布 Repo-Premium,一个更贴近真实场景的仓库级代码搜索基准:对 91 个真实仓库中 2022–2026 年的 PR 做预注册测试池,覆盖 Python、JavaScript、TypeScript、Go、Rust、Java,同时提供精选与原始查询。

研究发现稠密检索在旧基准上对 BM25 的领先被高估了,来源有二:

用 LLM 生成标识符扩充查询(generate-then-grep)对 BM25 提升远大于稠密检索,使其在所有 Python 测试池中追平稠密检索,甚至在 LLM 发布后新开的 PR 上也成立。作者未找到能预测特定查询哪种检索器获胜的方法,并给出三条实践建议:与公平的词法基线对比、稠密检索与 BM25 融合、给缺词查询补上代码里的标识符。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →