实测:用 BM25F 预检索为编码 Agent 缩小范围,MRR 提升至 0.475
newtophillyfromkc · reddit · 2026-08-06
作者构建了一个名为 prepass 的本地快速检索工具,旨在解决 Claude Code 或 Codex 等编码智能体在陌生代码库中前期搜索耗时过长的问题。
核心方法与测试
- 基于 240 个真实的 SWE-bench Lite GitHub issues 进行基准测试。
- 采用经典的 BM25F 词法排名算法(覆盖文件内容、文件名、目录三个字段),仅需一次 ripgrep 扫描,无需向量嵌入或 API。
- 工具仅向智能体注入匹配到的文件路径,而非文件内容。
关键结果与发现
- 性能表现:Top 20 命中率准确率达 77.9%,首位命中率 35.4%,MRR 为 0.475。中位耗时仅 105ms。
- 文档干扰:意外发现仓库内的文档(如 Django 的内嵌文档)在词法匹配上极易抢占排名,占据了 60% 的候选名单。将其降权处理后,MRR 从 0.383 显著提升至 0.475。
- 无效方案:本地嵌入向量、伪相关反馈、限制查询词数量等方法均未带来正面收益。
该工具已开源(Apache-2.0),支持 Claude Code 和 Codex。
「编程与Agent」频道最新
- 用 ESP32 和旋转屏重塑 2015 年的 AI 助手 — viksit · 2026-08-06
- 用 Codex 一键生成 Mac 应用,高效处理 1.5TB 骑行视频 — john__allard · 2026-08-06
- 开发者分享 Claude Code 与 Codex 实战工作流 — thatroblennon · 2026-08-06
- 实测智能 LLM 路由:成本直降 65%,准确率保持 99.2% — shensi · 2026-08-06
- Ryan Dahl 新项目 celld:将 Durable Objects 带出 Cloudflare,重塑云 Agent 架构 — joecole · 2026-08-06
- 模型提供商背后是否都在用 LiteLLM 或 Bifrost? — brianmichel · 2026-08-06