蚂蚁集团构建 Repo-Premium 基准:嵌入检索的优势多是评测假象,grep 补上标识符就能打平
hq-bench · hf · 2026-11-20
蚂蚁集团团队发布 Repo-Premium,一个更贴近真实的仓库级代码检索基准:对真实仓库文件排序,覆盖 Python/JS/TS/Go/Rust/Java 六种语言、2022-2026 年的 pull request、91 个仓库的预注册测试池,同时包含精选查询与原始查询。
核心发现:
- 现有基准显示稠密检索大幅领先 BM25,但这个「稠密优势」很大程度来自评测设置:给 BM25 切 chunk、把被编辑的测试算作相关、查询缺少代码中的稀有标识符。
- 用 LLM 生成标识符扩充查询(generate-then-grep)后,BM25 提升远大于稠密检索,在所有 Python 测试池中都能打平稠密检索,甚至包括 LLM 发布之后新开的 PR。
- 没有任何方法能预测某个查询上哪种检索器会赢。
给出三条实践建议:用公平的词法基线衡量稠密检索收益、稠密与 BM25 融合、给缺少代码词汇的查询补上标识符。
「编程与Agent」频道最新
- 博主实测 Hunyuan Hy4-Flash Q4_K_M:五屏生产力应用构建 — TencentHunyuan · 2026-11-20
- Omnigent 0.23.0 发布:四路会话同屏、/rewind 重发提示词、自动化可用廉价模型轮询 — matei_zaharia · 2026-11-20
- 开发者用 Claude 管羊圈:AI 自动放羊关羊还能数头数 — repligate · 2026-11-20
- Neon MCP 服务器支持按 Postgres 角色执行 SQL,用数据库权限约束 AI agent — JeremyCMorgan · 2026-11-20
- Codex 用户实测:开启 Daybreak 后网络安全类请求仍被拦截 — AIFlow_ML · 2026-11-20
- 新加坡 Codex 社区 Meetup 定档 11 月 20 日,392 人已报名 — gabrielchua · 2026-11-20