Hamel 方法论:先查 10 条 traces,再决定 evals 测什么
hugobowne · x · 2026-09-04
Hugo Bowne 线程片段两条:1) 「先忘掉 evals」——亲自查看 10 条 traces,你挖出的糟糕失败案例会告诉你 evals 该测什么;2) 产品设计决定了你能拿到什么评估数据——把输出做得易于验证,产品就会自动收集更好的信号:用户反馈、标注和更易分类的错误。
所属事件:Hamel Husain 谈 agent 时代 AI 产品 11 课：先查 traces，别信交付物(13 条相关)→
「编程与Agent」频道最新
- MCP 平台 NitroStack 登顶 Product Hunt 每日第一，聚焦留存与开发者访谈 — EstablishmentFun4373 · 2026-10-21
- CodeRabbit 团队周发 5000 个 PR：机器造机器，招人先看策略游戏时长 — omojumiller · 2026-10-21
- LukeW 总结智能体软件五大 UI 难题:多智能体监控与协作设计 — LukeW · 2026-10-21
- 用 Claude Code 经 ADB 清理安卓电视:删 11 个应用、可用内存涨 90% — edwinarbus · 2026-10-21
- 小米电视被广告件拖到卡顿,开发者用 Claude 一键救回流畅 — edwinarbus · 2026-10-21
- 开源新模型 Ornith-1.5-122B 发布:SWE-bench 84.5%,单卡 DGX 可跑 — _akhaliq · 2026-10-21