Rox 用 Devin 每周自动做 QA,eval 覆盖率升至 72%
DevinAI · x · 2026-10-16
- AI 公司 Rox 宣布不再手写 eval:改用 Cognition 的 Devin 每周对自家 agent 做质量测试。
- 流程:Devin 阅读真实用户对话,在 Rox 的完整副本中复现每个失败案例,并将其转化为 eval,人工只需审查 Devin 提交的 PR。
- 数据:该自动 eval 套件已覆盖产品中 72% 的真实用量,而过去手写 eval 只覆盖 43–57%,且覆盖率随 Devin 持续每周增长。
- 该项目由 Rox 与 Cognition、Braintrust 合作构建,是 agent 评测工程自动化的代表性案例。
「编程与Agent」频道最新
- 研究：人机组合查 bug 达 82.1%，各自单独只约一半和 71.9% — rseroter · 2026-10-16
- Gemini 4 Argon 实战四招:effort 分档、单发咨询与子代理委派 — rseroter · 2026-10-16
- OpenCode 2.0 登上 HN 热榜：802 分 344 评论，口碑全面好评 — ycombinator · 2026-10-16
- VOYGR 上线 PlaceCall：让 AI Agent 打电话给美国商家，前 250 通免费 — ycombinator · 2026-10-16
- 在真实生产数据上跑 Eval：被忽视的 Agent 评测实践 — generativist · 2026-10-16
- Harvey 用 context graphs 让 agent 法务任务成绩最高提升 30 个百分点 — omarsar0 · 2026-10-16