Evals 精华长文：多数 AI 团队先写指标，结果测错了东西
lennysan · x · 2026-09-23
Hamel Husain 与 Shreya Shankar 在 Lenny's Newsletter 发表进阶篇长文，基于服务 50+ 家 AI 公司的经验，讲解如何发现并修复产品中的隐藏 AI 失败。核心论点：多数团队直接跳到写指标，结果衡量了错误的东西；正确做法是先做 error discovery（错误发现），这是被最多团队跳过的环节。
文中给出实战案例数据：Ramp 把自动收据识别准确率从 35% 提到 83%；Shopify 的 AI workflow builder 比被替换的前沿模型方案快 2.2 倍、成本低 68%；Harvey 重建 AI 合同审查器后内部质量分接近翻倍；Cursor 调优 Auto Balance 路由后用户满意度更高、成本降 41%。
文章梳理了流程中哪些步骤可以自动化、哪些不能，并附一个免费插件让编码 agent 承担大部分重活；配套还有 30 分钟可读完的正文与可直接使用的 evals skills。作者指出近半数 AI PM 职位都要求 evals 经验，该技能价值持续上升。
所属事件:Husain 与 Shankar 发长文系统讲解 AI 产品评测(4 条相关)→
「编程与Agent」频道最新
- dots 更新支持 agent 同时控制 Windows 与 Mac 双机 — dkundel · 2026-11-12
- Granola 推出 Agent Briefs:每晚为 AI agent 打包你的最新上下文 — soleio · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」：模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12