作者构建 CodeClimb:用评审 agent 自动取舍 GraphRAG 优化实验
blaizedsouza · x · 2026-11-15
开发者 Pauliusztin 分享其编码 agent 项目 CodeClimb 的自动化实验反馈环:Pi 基于假设实现方案,在沙箱中用开发集评估,reviewer agent 分析指标、错误与历史假设后决定 KEEP 或 REVERT,并生成下一轮反馈。
关键设计:
- 同时优化多个 GraphRAG 指标(抽取 F1、图 precision/recall、检索),改好一个可能伤另一个,因此改动须通过验收护栏并有显著提升才会保留
- 测试集只在优化结束后评估一次,避免答案泄露
- 配图展示一夜 8 轮实验的收敛曲线:extraction.mentions.f1 从 0.60 升至 kept 0.718,多轮实验被回退,最终 test 得分 0.545,显示 dev 与 test 间的泛化差距
「编程与Agent」频道最新
- Anthropic 发布常驻 Agent 工程指南：全天休眠、短时唤醒而非 24/7 运行 — udmrzn · 2026-11-15
- Claude Code 专用 Database Architect Agent：让 AI 提前做数据库架构设计 — adnan_hashmi · 2026-11-15
- Teknium 转发:Hermes agents 编码效率已远超 Claude Code — Teknium · 2026-11-15
- Adobe 换帅并预告 Photoshop 等四大软件的本地 MCP 集成 — shashib · 2026-11-15
- 全本地 AI 生成音乐视频长文：从 prompt 到对嘴 MV 的完整工作流 — julianharris · 2026-11-15
- 15 年程序员用 Claude 做出首款 Steam 游戏，自研 Rust 引擎 — schiehll · 2026-11-15