Hamel Husain 谈 agent 时代 AI 产品 11 课：先查 traces，别信交付物

Hugo Bowne-Anderson 发布与 Hamel Husain 的播客《The Rise of the AI Scientist》，并在线程中总结他学到的 11 条「agent 时代构建 AI 产品」的经验。整体立场是：AI 加速了构建，但查验数据与判断答案的责任仍在人。线程开篇的典型案例是一个数据分析 agent 直接返回 421 万美元的净营收数字，却没有展示定义、表、过滤条件、join、日期或财年口径——这正是整套方法论要解决的问题。

已确认

• Hamel 的核心忠告：如果你不愿意亲自查验自己的数据，就不要做 AI 产品；agent 能把 traces 浮现出来，但无法给你理解它们所需的好奇心与判断力
• 他认为「数据科学已死」的说法是错的：AI 反而制造了更多数据、更多 traces、更多需要推理与调试的噪声信号，数据科学判断力比以往任何时候都更值钱
• 方法论起点是「先忘掉 evals」：亲自查看 10 条 traces，挖出的糟糕失败案例会告诉你 evals 该测什么；同时 trace 只证明执行过程，不证明答案正确
• 交付物本身不重要——Hamel 称「交付物只是证明」，产品应围绕专家判断 AI 答案是否可信所需的「证据」来构建
• Claude Code 等工具让构建用户无法验证的 AI 产品变得太容易，而 evals 拯救不了糟糕的产品设计；产品难 eval 本身就是设计差的信号
• AI 的价值是帮专家少遗漏——主动暴露可能的事实、矛盾和开放问题（哪怕部分是错的），最终签字与判断重要性仍是人类专家；一份 52 页的 AI 生成报告对评测而言是「一团糊」，应拆解为事实查找、矛盾检测和开放问题三类可实际检查的对象
• 产品设计决定了能拿到什么评估数据：把输出做得易于验证，产品就会自动收集更好的信号——用户反馈、标注和更容易分类的错误
• 标注的目标是教会 agent 主动寻找并暴露更高价值的样本，让标注更快、失败模式更清楚

为什么重要

在 agent 快速产出结果的环境下，这组经验提供了一套可操作的防线：从人工查验 traces 出发设计评测、以证据而非交付物为中心做产品设计，是对「AI 生成内容不可验证」这一普遍风险的具体回应；对数据科学从业者，它也反驳了「数据科学已死」的焦虑，指出判断力与调试能力在 agent 时代反而更稀缺。

2026-09-04 ~ 2026-09-05 · 13 条相关

• 【源头】Agent 查出 421 万美元净营收却说不清口径,Hamel 谈 AI 产品 11 课 — hugobowne · 2026-09-04
• 【源头】Hamel 线程开篇:trace 只证明执行过程,不证明答案正确 — hugobowne · 2026-09-04
• Hamel:交付物不重要,产品应围绕「证据」构建 — hugobowne · 2026-09-04
• Claude Code 让你轻易发布用户无法验证的 AI 产品 — hugobowne · 2026-09-04
• AI 的价值是帮专家少遗漏,而非替专家拍板 — hugobowne · 2026-09-04
• 52 页 AI 报告是评测糊:拆成事实核查与矛盾检测再评 — hugobowne · 2026-09-04
• 产品设计决定你拿到的评测数据质量 — hugobowne · 2026-09-04
• Hamel Husain:标注应教会 Agent 主动寻找高价值样本 — hugobowne · 2026-09-04
• Hamel 方法论:先查 10 条 traces,再决定 evals 测什么 — hugobowne · 2026-09-04
• Hamel:数据科学没死,agent 时代的噪声信号更需要判断力 — hugobowne · 2026-09-04
• 不查验数据就别做 AI 产品:agent 浮现不了好奇心 — hugobowne · 2026-09-04
• Hamel:不查验数据就别做 AI 产品,agent 给不了判断力 — hugobowne · 2026-09-04
• 【源头】Hamel Husain:产品难 eval 是设计差,AI 让数据科学更值钱 — hugobowne · 2026-09-05