蚂蚁 Repo-Premium 基准:公平评测下 BM25 可追平稠密检索
_reachsumit · x · 2026-11-18
蚂蚁集团发布 Repo-Premium,一个更贴近真实场景的仓库级代码搜索基准:对 91 个真实仓库中 2022–2026 年的 PR 做预注册测试池,覆盖 Python、JavaScript、TypeScript、Go、Rust、Java,同时提供精选与原始查询。
研究发现稠密检索在旧基准上对 BM25 的领先被高估了,来源有二:
- 评测设计偏向稠密检索:如对 BM25 切分文件 chunk、把被编辑的测试算作相关;
- 查询缺少代码中的稀有标识符。
用 LLM 生成标识符扩充查询(generate-then-grep)对 BM25 提升远大于稠密检索,使其在所有 Python 测试池中追平稠密检索,甚至在 LLM 发布后新开的 PR 上也成立。作者未找到能预测特定查询哪种检索器获胜的方法,并给出三条实践建议:与公平的词法基线对比、稠密检索与 BM25 融合、给缺词查询补上代码里的标识符。
「编程与Agent」频道最新
- Google 员工感叹 Replit 创作者之夜:Agent 已能撑起全自动小生意 — DynamicWebPaige · 2026-11-18
- Teamily AI 推出实时协作 Studio:团队与 Agent 同稿共创 — CurieuxExplorer · 2026-11-18
- Voyager Cloud 上线:按秒租 GPU 给 Agent 跑 Blender 渲染 — ravisparikh · 2026-11-18
- Agent 一天做出可玩 3D 平台游戏:自完成概念图建模到关卡 — FinanceYF5 · 2026-11-18
- 一天做出可玩 3D 平台跳跃游戏,Fable 5.2 全程自己搞定美术建模 — FinanceYF5 · 2026-11-18
- BizPeel 上线 48 项竞研数据工具,接 Claude Code 查竞品每次不到 2 美分 — yihui_indie · 2026-11-18