Sentry 重投 Evals:1800 次 PR 触发评测,token 成本降 20-50%
zeeg · x · 2026-09-23
- Sentry 自 5 月起在内部大规模投入 evals 建设,带来工程文化转变:从凭感觉上线到用数据说话。
- 过去一个月的数据:约 1800 次 eval 直接由 PR 触发;1500 个 eval 场景覆盖产品内 17 个 AI 面;部分功能的 token 成本下降约 20-50%;核心 code mode 改动使 eval 通过率提升约 10-20%。
- Lenny Rachitsky 整理的行业案例:Ramp 将自动收据识别准确率从 35% 提到 83%;Shopify 的 AI workflow builder 比前沿模型方案快 2.2 倍、便宜 68%;Harvey 重建合同审查器后内部质量分近翻倍;Cursor 调优 Auto Balance 路由后成本降 41%、满意度大增。
- 人才市场信号:Lenny 分享的 25 个 PM 职位中近半要求会写 evals。
「编程与Agent」频道最新
- Perplexity 用提示引导自蒸馏训练 Computer 模型，工具调用失败率降 21.2% — perplexity_ai · 2026-09-23
- Tomo 开源 WebMCP Registry：已收录十万站点给 AI Agent 的真实工具 — Jackyhuang · 2026-09-23
- LiteParse 2.8ms 解析一页 PDF,号称全球最快开源解析器再提速 25% — llama_index · 2026-09-23
- UCLA 团队发布 ACLArena:智能体多阶段持续训练的系统性框架 — UCLA-SCAI · 2026-09-23
- 警惕 jev 的 slop 用法:决策环节换弱模型,你根本察觉不到丢失的能力 — generativist · 2026-09-23
- Coinbase 开放 Agent 交易:6000 只美股+x402 微支付买实时行情 — MurrLincoln · 2026-09-23