Hamel Husain 开源 evals Skills，助 AI 编码 agent 自建产品评测

sh_reya · x · 2026-09-23

Lenny Rachitsky 推荐由 Hamel Husain 和 Shreya Shankar 开源的 evals-skills：一组引导 AI 编码 agent 构建产品级 AI 评测的 skills，来自帮助 50+ 公司的经验沉淀。入口 skill evals-start 会按场景路由：已有评测管线的用 eval-audit 体检常见错误；只有 trace 未分析的用 error-discovery 构建定制标注界面并智能采样。配套数据：Ramp 用 evals 把自动收据采集准确率从 35% 提到 83%；Shopify 的 AI 工作流构建器比 frontier 模型方案快 2.2 倍、省 68% 成本；Harvey 重建合同审查后内部质量分近翻倍；Cursor 调优 Auto Balance 路由后成本降 41%。Lenny 还提到近半数 PM 岗位要求 evals 经验。