Anthropic 发布 Evals 指南遭 Hamel Husain 实测质疑
Anthropic 发布了一套新的 Evals(评估体系)相关资料,聚焦 agent/LLM 评估工程,知名 AI 工程专家 Hamel Husain 表示正在研读并组织相关人士一起拆解这份材料。他实测后指出指南存在三个主要问题,其中最关键的是工作流顺序错误:该指南建议先创建评测再让用户纠正错误,而他主张应先查看数据再写评测。
2026-09-29 ~ 2026-09-29 · 3 条相关
- Hamel Husain 开读 Anthropic 新发布的 Evals 指南 — HamelHusain · 2026-09-29
- Anthropic 发布新 Evals 资源,Hamel Husain 组队拆解 — HamelHusain · 2026-09-29
- Hamel Husain 实测 Anthropic 新 evals 指南:先写评测再看数据是错的 — HamelHusain · 2026-09-29