两个 Haiku agent 加 grep 实现 77% 代码召回,单问题成本约 1 美分
Opening-Round5528 · reddit · 2026-11-18
CodeNib 在 ContextBench(500 任务、8 种语言,衡量系统找回人工标注相关代码的比例)上,仅用两个 Claude Haiku 5.5 agent 加 grep 检索代码上下文——不用 embedding、不用 reranker——找回 77% 的相关行,而排行榜第二名只有 61%,单问题成本约 1 美分。
双 agent 分工:
- 第一个 agent 用 glob、grep 和文件读取顺着 issue 检索
- 第二个 agent 拿到 issue 加上第一个已查看位置图(路径和行范围,最多 2048 token),专攻遗漏:调用方、替代路径、测试、配置
代价是广撒网:行精确率仅 20.5%。在检索之上加一个 Opus 修复 agent 后,整个系统在 500 个任务中解决 388 个,截至 10 月 23 日为 agent 系统排行榜第一。需注意任务标注在开发期间可见。技术报告、轨迹和成本票据均已公开。
「编程与Agent」频道最新
- 一个月 27 个 vibe coding 版 Finder,多数已死或停更 — KaKi_87 · 2026-11-18
- Hugging Face 用 RL+LoRA 适配 Qwen 给 pi 编码 agent,SWE-bench Pro Hard 从 29.4% 升至 62.7% — art_zucker · 2026-11-18
- Forrest PKnight 排名各编程语言:看 AI 写哪种代码最顺手 — Dan_Jeffries1 · 2026-11-18
- 用 Claude 加 Unreal Engine 5.9 MCP,一天做出游戏续作原型 — TomLikesRobots · 2026-11-18
- 开源 guardrail-middleware:纯确定性检查点拦截失控的 Agent 工具调用 — MidnightHeavy3064 · 2026-11-18
- 最离不开的 Agent 最无聊:每天自动整理下载文件夹的发票与收据 — Winterocean812 · 2026-11-18