Anthropic 公开 eval 搭建与爬坡方法论:客服基准准确率 78.6% 升至 90.5%、成本降至 1/5
AGI Hunt · wechat · 2026-09-30
Anthropic 的 Lance Martin 在 claude.dev 博客发布长文,讲如何设计 eval、对 eval 做爬坡优化又不自欺欺人,方法已写入官方 claude-api skill,新增 /claude-api:build-eval 和 /claude-api:hillclimb 两条命令。
- 好评测四要素:任务贴近生产环境;模型越强/effort 越高分应越高;最强模型也应明显低于 100% 留出提升空间;运行间波动要小
- 对抗式采样:别只挑当前模型答不对的题,那只会测出该模型的"失败指纹";任务应因人判断难而入选
- build-eval 工作流:从生产 transcript、bug 报告、手写用例和合成数据采样;打分器优先程序化验证,开放输出用 LLM-as-judge(裁判模型不能是被测模型)
- 爬坡防过拟合:评测集拆训练/测试两份,train 涨 test 不涨即撤回补丁;失败内容绝不粘进提示词;结构上防 reward hacking
- 实测一(降本):客服工单基准从 Opus 4.8 高 effort 起步,爬坡到 Sonnet 5 低 effort 加改进提示词,留出集准确率 78.6%→90.5%,成本降到约 1/5
- 实测二:claude-api skill 自身评测通过率 66%→88%,途中还发现题目与打分器自身的缺陷
所属事件:Anthropic 为 Claude Code 新增自动构建评测与爬坡优化命令(6 条相关)→
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- Every 团队实测 Claude Fable 5.2:让 agent 通宵跑大项目 — every · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16