Scale AI 发布 READY 框架：准确率相同的 agent，人工审核量可差近 1/4
demian_ai · x · 2026-11-03
Scale AI 提出企业级 agent 部署评测框架 READY（Reliable Enterprise Agent Deployment），核心论点：决定 agent 能否上线的是它能否正确说出'这条请人工复核'，而现有排行榜几乎不测这个。
方法：agent 批量完成任务并自评置信度 → 只保留最有把握的，其余交人工 → 度量达到目标可靠率所需的人工审核比例。审核越少，agent 越好。
关键发现（16 个 agent 系统、750 个案例的临床审计研究）：
- 两个自主准确率几乎相同的 agent（72.8% vs 72.5%，普通榜单算平手），在同样达到 76% 可靠率时，所需人工审核量为 39.2% vs 29.6%——差约四分之一的人工时间。区别在于后者更会识别自己哪些答案不可靠。
- 在全部 16 个系统中,'会自我怀疑'与准确率几乎不相关。
- 存在'人类天花板'：假设人工审核正确率 90%，则任何 agent+人类团队都无法超过 90%;要求约 85% 可靠率时，所有 agent 都得把全部工作交人工，等于没有 agent。
结论：真正能部署的 agent 不是跑分最高的那个，而是知道何时说'这条要查'的那个——而几乎没人测这个指标。
「编程与Agent」频道最新
- EAT 进化智能体团队:内核优化任务刷新 SOTA,Open Kernel Challenge 排名第4 — berkeley_ai · 2026-11-03
- Sol 6.1 仍是性价比最强 worker，Fable 5.5 更全能但更贵 — haider1 · 2026-11-03
- Zed 创始人:视觉素材是 AI 游戏设计最大瓶颈,现无可用管线 — zeeg · 2026-11-03
- 拆分注意力≠拆分上下文：多 agent 审阅文档的隐藏陷阱 — krishnan · 2026-11-03
- LangChain：9 月 agentic 浏览器请求量涨约 5 倍 — LangChain · 2026-11-03
- 开发者把 OpenCode 重构进浏览器 DevTools,断言下一个十亿美元产品在这里 — nicolascraske · 2026-11-03