在真实生产数据上跑 Eval：被忽视的 Agent 评测实践
generativist · x · 2026-10-16
一条关于 agent eval 的实践观点：应该在真实生产数据（prod data）上跑评测，而不是只在人工构造的测试集上验证。这是 agent 评测工程中「离线 benchmark 分数高、上线表现差」问题的常见对策。原帖为简短转发，未展开具体做法细节。
「编程与Agent」频道最新
- 开发者用 Codex 遥控 CAN-bus 电机，目标造出 Codex 造的机器人 — OpenAIDevs · 2026-10-16
- 开源 smallwords：一处词表同步 GBNF、JSON Schema 与校验逻辑 — Empty-Reflection4280 · 2026-10-16
- 亲历者复盘：Fleet 早期堆了近 200 个回归 eval 仍永远在追赶 — BraceSproul · 2026-10-16
- Box AI Extract 携手 OpenAI Decisions API：文档自动分类进对应工作流 — craigsdennis · 2026-10-16
- Vercel Drives 正式发布：有状态 Agent 有了「文件系统」 — moeinteractive · 2026-10-16
- OpenUI 1.0 开源发布:用「问题即界面」取代传统 App — LinusEkenstam · 2026-10-16