Anthropic 发布官方指南:用 Claude Code 自动构建 eval 并迭代优化
ClaudeDevs · x · 2026-09-29
Anthropic(claude.dev 博客,作者 Lance Martin)为 claude-api skill 新增两条命令,让 Claude Code 能在代码库内自动构建评测并据此优化应用:
- /claude-api build-eval:在代码库中搭建评测集
- /claude-api hillclimb:针对评测逐次改进应用,并用 held-out 样本集防止过拟合自欺
文章总结了好的 eval 设计原则:
- 任务须贴近生产分布,不要因为任务好生成、好打分而选它
- 更强模型应得更高分:如果强模型反而分数低,多半是任务含糊或打分器校准不当
- 前沿处须留有通过率空间:最强模型在最高 effort 下也应明显低于 100%,否则无法可靠判断改动的影响
这是 Anthropic 官方给出的 eval 工程与 agent 迭代工作流实践指南。
所属事件:Anthropic 为 Claude Code 新增自动构建评测与爬坡优化命令(6 条相关)→
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16