Anthropic 为 Claude Code 新增自动构建评测与爬坡优化命令
Anthropic 于 09-29 在 claude.dev 博客发布由 Lance Martin 撰写的官方指南,为 claude-api skill 新增两条命令,让 Claude Code 能在代码库内自动构建评测并据此持续优化应用;skill 已开源,社区可直接复用。
已确认
- build-eval:/claude-api build-eval 可直接在代码库内使用,并支持从生产轨迹(production traces)自动构建评测。
- hillclimb:基于所构建的评测对应用进行迭代爬坡优化。据 Arindam1729 转述,该组合在提升准确率的同时还能降低成本;AGI Hunt 引用官方示例称客服基准准确率从 78.6% 升至 90.5%、成本降至原来的 1/5。
- Lance Martin 于 09-30 公开了该 skill 的仓库位置:anthropics/skills 仓库下的 skills/claude-api/shared/eval 目录,并附成本与评测爬坡指南。
- Lance Martin 回应了 Hamel Husain 的反馈,表示会据此更新该 skill。
为什么重要
- 过去构建评测集往往需要大量人工投入,从生产轨迹自动生成 eval 大幅降低了搭建评测体系的门槛,使 Claude Code 的应用开发形成「构建—评测—优化」的自动化闭环。
- 该 skill 开源且承诺根据社区反馈迭代,第三方开发者可直接复用或改进这套工作流;Lance Martin 的长文同时给出了如何设计 eval、做爬坡优化而不自欺欺人的方法论。
2026-09-29 ~ 2026-09-30 · 6 条相关
一手来源
- Anthropic 发布 claude-api skill 新命令:自动构建评测并逐次爬坡优化 — RLanceMartin ·
- Anthropic 开源 claude-api 评测技能,含成本与评测爬坡指南 — RLanceMartin ·
- Anthropic 公开 eval 搭建与爬坡方法论:客服基准准确率 78.6% 升至 90.5%、成本降至 1/5 — AGI Hunt ·
- Anthropic 发布官方指南:用 Claude Code 自动构建 eval 并迭代优化 — ClaudeDevs · 2026-09-29
- 【源头】Anthropic 发布 claude-api skill 新命令:自动构建评测并逐次爬坡优化 — RLanceMartin · 2026-09-29
- build-eval 加 hillclimb:从生产轨迹自动建 eval,提准同时降成本 — Arindam_1729 · 2026-09-29
- 【源头】Anthropic 开源 claude-api 评测技能,含成本与评测爬坡指南 — RLanceMartin · 2026-09-30
- 【源头】Anthropic 公开 eval 搭建与爬坡方法论:客服基准准确率 78.6% 升至 90.5%、成本降至 1/5 — AGI Hunt · 2026-09-30
另有 1 条近重复转述:brada