Anthropic 发布 claude-api skill 新命令:自动构建评测并逐次爬坡优化
RLanceMartin · x · 2026-09-29
Lance Martin(Anthropic)发布长文,介绍 claude-api skill 新增的 eval 设计与 hillclimbing 能力。
核心命令
- /claude-api build-eval:直接在代码库中构建评测
- /claude-api hillclimb:基于评测逐项改进应用,并使用 held-out 样本集防止过拟合
评测设计原则
- 任务应采样自真实生产场景,而非贪图易生成、易打分
- 更强模型和更高思考强度应当带来更高分数,若不然,往往说明任务含糊或打分器校准有问题
- 最强模型在最高 effort 下也应明显低于 100% 通过率,留出可测量的提升空间,且差距不能由无关因素解释
文章先讲清这些原则,再演示 Claude Code 如何借助 skill 将其自动化落地,并给出多个命令实例。
所属事件:Anthropic 为 Claude Code 新增自动构建评测与爬坡优化命令(6 条相关)→
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- Every 团队实测 Claude Fable 5.2:让 agent 通宵跑大项目 — every · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16