Hamel 与 Shreya 出 evals 新书:先逐条读 trace 标错点,再看指标
sh_reya · x · 2026-10-28
shreya 宣布与 Hamel Husain 合著的《Evals for AI Engineers》正式出版,可在 Amazon 购买或参加签售。Hamel 被业内公认为 evals 领域顶尖实践者。
引用的读者书评摘录了错误分析章节的核心方法论:
- 不要从指标开始。先端到端通读 trace(如 Claude Code/Codex 等 coding agent 的完整会话记录),大量 trace 常年躺在磁盘上没人读
- 在每条 trace 第一次出错的步骤做标记,用自己的话写一句简短备注;每条只做是/否判定,不打 1-5 分
- 标满 20 条后再归类失败类型;不要让模型替你发明分类,它会给你「幻觉」这类空洞标签
这套流程对任何在做 agent eval 工程的团队都可直接照做。
所属事件:Hamel 与 Shreya 合著 AI 评测新书正式出版(2 条相关)→
「编程与Agent」频道最新
- 网友设想「代客爱尔兰式离场」AI 助手：替你告别并许约 — vhanagwal · 2026-10-28
- 开发者用 Opus 5.5 三周写出 Go 桌面 GUI 框架 MyGo — dotey · 2026-10-28
- Karpathy GitHub 免费学习路线走红：从 micrograd 到 nanochat 六步吃透 LLM — lmoroney · 2026-10-28
- CopilotKit 携手 Very Good Ventures 为 Flutter 打造 AG-UI 移动端 SDK — rseroter · 2026-10-28
- 单个 agent 会话连续运行近一个月,474M tokens 花费 5856 美元 — RulinShao · 2026-10-28
- Chef 创始人 Adam Jacob:彻底围绕 AI 重建工程，craftsmanship 会回来 — RealGeneKim · 2026-10-28