build-eval 加 hillclimb:从生产轨迹自动建 eval,提准同时降成本
Arindam_1729 · x · 2026-09-29
作者介绍 Claude Code 生态里的一套真实可用的 eval 工具组合:build-eval 能从生产轨迹(production traces)自动构建评测,hillclimb 则基于这些评测迭代优化,在提升准确率的同时压低成本。配套内容是 Anthropic Code w/ Claude 大会的一节 45 分钟实操课「Evals for Taste」:现场搭建一个生成幻灯片的 Managed Agent,用 SlidesBench 打分,并根据失败案例迭代 prompt,把「这个看起来不好」变成一个可以优化的数字。作者的观点很直接:发 agent 而不做 eval,等于盲飞。
所属事件:Anthropic 为 Claude Code 新增自动构建评测与爬坡优化命令(6 条相关)→
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16
- lemire:AI 改变编程的不是速度,而是扩大工程师的「认知半径」 — lemire · 2026-11-16