Embeddings vs. Grep: Rethinking the Dense Advantage in Code Search
Siqiao Xue, Ziyin Zhang, Zihan Liao, Jin Qin, Yixiang Mu, Hang Yu
cs.SE
2026-11-16
整文件 BM25 把代码嵌入检索的领先从 +0.121 压到 +0.034,让 LLM 补写标识符后 BM25 即可反超
代码检索基准上,代码专用 embedding 模型对经典词法检索 BM25(关键词打分搜索)的 nDCG@10(检索质量指标,满分 1)领先动辄超过 0.1,不少团队据此为代码库建嵌入索引。另一边,从业者报告(Augment Code)的 SWE-bench agent 靠 grep 和 find 检索冲到过开源第一,embedding 不是瓶颈。两边可以都对,卡在没人在统一协议下拆开这个「稠密优势」看构成:现有基准用人工整理或 docstring 式查询配旧代码,词法基线沿用稠密检索器的 1,000 字符分块,标签规则还混用(SWE-bench 的 gold patch 不含测试文件,PR 文件清单却含)。弱基线在神经排序里制造虚假领先是老问题,在仓库级代码检索里一直没被量化。
蚂蚁集团建了 Repo-Premium:仓库内文件检索基准。输入是代码变更的自然语言描述加仓库固定快照,输出文件排名,gold 是该变更实际改动的非测试源码文件,标签直接来自合并的 PR,不经标注员之手。核心集 1,265 条查询、10 个 SWE-bench Verified Python 仓库、10,200 个文件;扩展集再加 1,560 条,覆盖 JS、TS、Go、Rust、Java 和 91 个预注册仓库。四个核心池共享仓库、快照与标签规则,只变查询写法(人工整理 vs 原始 PR 文本)和变更年代(2022、2023、2026,分居编码器训练截止日期前后),池间差异只能来自查询本身。
诊断靠三组受控干预:BM25 从 1,000 字符分块换成整文件索引,并剥离 PR 模板等样板文字;统一标签规则,把改动过的测试文件从 gold 剔除,两种规则都报;generate-then-grep,让 qwen35-122B 只读查询文本,补写标识符、API 名、报错词和代码骨架拼进查询后交给 BM25,生成器看不到 gold。
| 对照(dense−BM25,nDCG@10) | 整理查询 Cur-Pre | 2026 原始 PR |
| 惯例设置:BM25 按 1,000 字符分块 | +0.121 | +0.152 |
| BM25 换整文件索引 | +0.034 | +0.059 |
| 整文件索引,测试文件计入相关 | +0.165 | +0.136 |
| 查询加 LLM 生成标识符后 | −0.081 | −0.054 |
分块就能决定正负:django 上稠密检索对整文件 BM25 是 −0.153,同改 1,000 字符分块后变 +0.119,编码器截断长文件,BM25 吃大窗口。对整文件 BM25,13 个编码器没有一个在整理池或 2026 池保住显著优势,7 个在整理池显著为负。测试文件的偏置是行为性的:稠密检索在 59% 的整理查询上把测试文件排第一,BM25 只有 34%。活下来的优势主要是覆盖率(Recall@10 高 0.10 到 0.19),且集中在查询缺少代码稀有词的那部分:按共享 token 的最大 IDF 分层,优势从最低分位 +0.217 衰减到最高分位 +0.050。
补词的收益差最悬殊:生成的标识符给 BM25 加 0.11 到 0.19,给编码器只加 0.03 到 0.07。之后 BM25 在四个 Python 池点估计全部不落后,整理池显著反超 0.081;在生成器发布之后才开的 PR 上仍领先 0.094。换更强的 Qwen3-Embedding-8B、换 4B 到 122B 五个生成器,方向不变。
固定融合胜过一切单选。RRF(倒数排名融合)合并稠密与整文件 BM25,开发集比单独稠密高 0.060,539 条预注册查询上两种固定融合分别高 0.019 和 0.045。BM25 在 24% 的整理查询上严格赢过稠密,但分类器、LLM 裁判、预注册路由器都找不到这些查询(AUROC 0.47 到 0.54),路由器只比「永远融合」多 0.005。96 个任务的 agent 评测里,固定 LLM 换检索工具,定位 exact-match 变化不超过 0.04;换 LLM,跨度 0.03 到 0.30。
对做 coding agent 检索层的人,结论可以直接落地:先跑公平的词法基线(整文件 BM25、剥样板、声明标签规则),再决定要不要建嵌入索引;保留稠密检索并与 BM25 做固定 RRF 融合,别按查询路由;查询里没代码词,就用一次 LLM 调用补标识符。成本有换算:一次 Qwen3-8B 调用约 1.5 秒,django 规模的仓库建一次稠密索引约 4 分钟,单仓库查询量低于约 158 次时生成更便宜。给 agent 的预算建议更直白:钱花在模型上,检索端点的边际收益很小。对做基准的人,这是标签规则加基线设置就能决定结论正负的完整案例,预注册 lockbox 的做法值得抄。
作者自列:核心集只有 10 个 Python 仓库,跨语言池每种语言仅 1 个仓库;BM25 的设置在评测查询上挑选,对稠密检索的数字只是下界;生成效果依赖生成器,小的只能关掉三分之二到八成优势;标签定义为「一次变更改动的文件」;函数级、行级定位未测。
读下来还有几处要留神:生成器可能认识这些仓库,论文承认这替换了优势、解释不了来源;τ 分层是探索性分析,变量在同一批数据上挑的,按查询的相关系数只有 −0.124;「优势被移除」指置信区间盖住零,论文明说没证明两种检索器等价;agent 评测只测定位不跑测试,不等于修对了 bug。