360 次实测:代码知识图谱对编程 Agent 无明显准确率提升
JeremyCMorgan · x · 2026-11-10
一篇针对 graphify 的 benchmark 检验了「把代码库转成调用/导入关系图能否帮助编程 Agent」这一假设。测试用 claude code(sonnet 5.5)与 codex(gpt-6.1-sol)在 3 个仓库、12 个问题上跑了 360 次试验。
核心结论
- 单纯提供图结构信息(通过 hook 原型或两个图工具)并未让强模型明显更准确或更省 token;Agent 通常在前几轮就靠 grep 找到答案文件,然后仍会读源文件确认,图谱笔记替代不了这些阅读。
- 起因是 graphify issue #985 中用户报告:裸 claude code 用更少 token 给出相近答案。
- 修改后的 hook 版本相比纯 grep 可省约 13% token,准确率基本持平——但样本量小,只能作为方向性参考。
作者建议在为编码栈加入图谱基础设施前先读这份测试,并另列了 6 个图谱可能真正有用的方向及其证据强度。
「编程与Agent」频道最新
- 把网页打包成桌面应用:tw93 的 Pake 下载量已超 53.9 万 — Aiden_Tech_Ai · 2026-11-10
- Frontier3DBench:145 个任务实测编码智能体能否替代 3D 视觉管线 — Aiden_Tech_Ai · 2026-11-10
- Human in the loop 易,让审核员保持专注难:四个指标判断审批是否形同虚设 — alex_verem · 2026-11-10
- 付费 Agent vs 开源克隆:自托管要接手三件事,数据去向自己担 — femke_plantinga · 2026-11-10
- 95% 可靠率连乘 20 步仅剩 36%,Reddit 热帖算清 Agent 失败概率 — Infinite_Web1576 · 2026-11-10
- Slite Agent 接入 Granola、Miro、Box、monday.com 四大数据源 — femke_plantinga · 2026-11-10