Anthropic 官方指南:让 Claude 自动建 eval 并爬坡调优提示词
新智元 · wechat · 2026-10-09
针对「改一句提示词就要人工重测一遍」的痛点,Anthropic 发布了官方调优指南,核心思路是把反复测试与修改的活也交给 Claude。
- /claude-apibuild-eval:把「回答要靠谱」这类抽象要求变成可反复运行的测试题库;题库需覆盖常见问题而不仅是翻车现场;评分规则要具体到必须说清的信息、不能犯的错误,且评分器本身要先对照人工判断校验。
- /claude-apihillclimb:让 Claude 每轮提出一处修改(提示词/模型配置等),重跑评估,有改善才保留、退步就撤回;专门留出不公开的「验收考题」检测过拟合。
- 实测数据:内部客服评测在 14 张留出工单上决策准确率从 78.6% 升至 90.5%,模型调用成本降至约 1/5(特定配置小样本,不代表普遍节省八成)。
- 两个入口均要求 Claude Code v2.1.259+;调优本身也消耗 token,需预设实验预算。
文章还提醒开发者:自动化跑起来后,精力应放回补充真实用户困惑进题库、把控评分标准、以及质量与成本的权衡决策上。
「编程与Agent」频道最新
- Decisions API 正式 GA,agent 反馈循环全自动剪辑云视频 — dkundel · 2026-10-23
- 50+ 免费 AI Agent 学习资源合集：视频与仓库一站打包 — ifioknkem · 2026-10-23
- 自封「全网最佳」的免费 AI Agent 资源库引围观 — ifioknkem · 2026-10-23
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23