实测:纯代码索引帮不了 agent,项目规则文档让达标率从 32% 升至 70%
AttitudeLatter7306 · reddit · 2026-10-28
Segmently 团队发布 context-recall 基准,量化「编码 agent 到底能看到多少项目规则」这一被忽视的问题。
核心发现
- 从 12 个真实历史任务中提取 75 条规则(约每任务 6 条),其中 70 条在代码中可寻:24 条只在注释/报错里、13 条由测试或类型约束、22 条隐含、11 条代码中毫无痕迹
- 57/70 条规则被破坏时没有任何测试会失败;更广的 15 个任务中约 1/3 规则既不在文档也不在注释里
- 代码索引工具(Serena、Trail、Graphify)达标率仅 24-29%(无文档)/46-47%(有文档),与裸 Claude Code 相当——这些规则本来就不在代码里
基准结果(headless Claude Code + 盲评 LLM judge)
- Claude Code 无项目文档:规则覆盖率 32%
- 文档放进仓库:54%
- Segmently 自己的方案(每模块一份关键规则短文档,按语义检索并在规划前全文读入):70%
开源工具:context-recall(MIT),作为 Claude Code 插件运行,可对自己的仓库做盲评对比,还能评估文档编辑前后的效果。
所属事件:实测编码 Agent 仅接收 32% 项目规则，文档可提升至 70%(2 条相关)→
「编程与Agent」频道最新
- 开源工具 anymove：一条 AI 视频给任意生物做动作捕捉，单次仅 2 毛 6 — majidmanzarpour · 2026-10-29
- Claude Music Video skill：一首歌自动生成完整 MV，含节拍分析与剪辑 — AIandDesign · 2026-10-29
- How I AI 个人 Agent 横评：Grok 93% 夺冠，Claude Duet 79% 垫底 — lennysan · 2026-10-29
- 开发者发布 RelPrim 1.0：统一管理 LLM API 重试、限流与熔断 — bartrozycki · 2026-10-29
- Claude Code 审计发现 Android 隐藏缓存存 1.4 万张未经同意的前摄照片 — natesiggard · 2026-10-29
- 并行 Neo4j 导入为何反而更慢：锁竞争问题与修复方案 — JeremyCMorgan · 2026-10-29