25 个 PM 岗位近半要求会写 evals,四家公司晒 eval 投入回报数据
lennysan · x · 2026-09-22
Lenny Rachitsky 观察到 evals(AI 产品评测体系)正成为产品经理核心技能:他上周分享的 25 个 PM 职位中近一半要求 evals 经验。
各家公司公开的 eval 投入回报:
- Ramp:自动收据识别准确率从 35% 提升到 83%
- Shopify:上线的 AI workflow builder 比原前沿模型方案快 2.2 倍、成本低 68%
- Harvey:重建 AI 合同审查器,内部质量分接近翻倍
- Cursor:调优 Auto Balance 路由,用户满意度更高且成本降 41%
他还邀请 evals 领域的 Hamel Husain 和 Shreya Shankar 基于 50+ 家 AI 公司的实践经验,撰写《Building eval systems that improve your AI product》的进阶续篇,分享多数团队跳过的关键步骤。
「编程与Agent」频道最新
- GitHub 用 Copilot agent 重写 80 万行 Rust,单人几个月完成 — marlene_zw · 2026-09-23
- X 高管:Agent 洪流将至,bot 检测成最紧缺生意 — nikitabier · 2026-09-23
- xAI Console 全面重构：Playground 直接试通 Grok 全家桶 API — XFreeze · 2026-09-23
- HelloSol:本地运行的工作承诺 agent,替你闭环邮件里的活 — SucceededMind · 2026-09-23
- Compound Engineering 3.25：一条命令清理累积的技能知识 — kieranklaassen · 2026-09-23
- Firecrawl 获 7500 万美元 B 轮融资,打造 AI 知识库 Alexandria — devdigest · 2026-09-23