Hamel Husain 实测 Anthropic 新 evals 指南:先写评测再看数据是错的
HamelHusain · x · 2026-09-29
Hamel Husain 实测了 Anthropic 刚发布的 evals 工作流指南,指出三个主要问题:
- 顺序错了:该工作流先创建评测再让用户纠正错误,但他认为应该先看数据、形成理解、确定优先级,然后再写 evals。
- 标注方式原始:它生成 markdown 文件让用户「口头告知」哪些标签有问题,而他主张既然在用编码 agent,就应该自己搭一个标注应用(他在直播里就这么做过)。
- 评测器粒度过粗:它定义的 evaluators 把太多类型的失败捆在一起,先看数据可以避免这一点。
他担心这套指南会把初学者引向错误的 eval 工程习惯,并附上了不看不发布指南内容的要点笔记。
所属事件:Anthropic 发布 Evals 指南遭 Hamel Husain 实测质疑(3 条相关)→
「编程与Agent」频道最新
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16
- Agent 过验证码前先请示:反机器人机制逼出AI的自我怀疑 — Puzzleheaded-King584 · 2026-11-16
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16