蚂蚁集团构建 Repo-Premium 基准:嵌入检索的优势多是评测假象,grep 补上标识符就能打平

hq-bench · hf · 2026-11-20

蚂蚁集团团队发布 Repo-Premium,一个更贴近真实的仓库级代码检索基准:对真实仓库文件排序,覆盖 Python/JS/TS/Go/Rust/Java 六种语言、2022-2026 年的 pull request、91 个仓库的预注册测试池,同时包含精选查询与原始查询。

核心发现:

给出三条实践建议:用公平的词法基线衡量稠密检索收益、稠密与 BM25 融合、给缺少代码词汇的查询补上标识符。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →