Scale AI 联合论文 READY:基准分数相同的企业 Agent,部署成本可能天差地别
rohanpaul_ai · x · 2026-09-05
Scale AI 与加州大学的论文《READY or Not: Reliable Enterprise Agent Deployment》提出,企业选 Agent 不应只看基准准确率,而应按「达到目标可靠度所需人工监督与成本」来排名。
论文指出:现有基准回答的是「Agent 能否完成专业工作」,而企业部署真正要问的是「在可接受的人工监督和成本下,Agent 能否达到所需可靠性」。READY 框架的核心做法:
- 保留各工作流自身的成功定义,但用统一流程做准入评估
- 给定 Agent、工作流和候选监督策略,测量人机系统的可靠性与运营成本
- 自动选出满足目标可靠度的最低成本监督策略,并在留出集上统计验证
- 输出「部署画像」:可靠度、人工监督负担与成本三者构成的工作点
在覆盖 16 个 Agent 系统、750 个案例的临床审计端到端案例研究中,READY 揭示了自主基准分数无法区分的系统差异——两个 Agent 基准得分几乎相同,所需人工审核量却差别很大。框架已开源为测试床,可在现有 Agent 评测基础设施上运行。
所属事件:Scale AI 提出READY框架：评估Agent需算人类审核成本(2 条相关)→
「研究」频道最新
- 的形式化验证壁垒为何被 LLM 消解 — teortaxesTex · 2026-10-23
- 日本 Moonshot IoB 脑机接口项目公开五年研究成果海报 — kaixhin · 2026-10-23
- 指标口径变更会骗过 Agent：开发者提出专属 eval 设计思路 — jylusdev · 2026-10-23
- ruff 作者发问：AI 芯片设计从 RISC-V 扩到 x86 有多难 — charliermarsh · 2026-10-23
- Transformer 联合建模电子与磁性，能量误差仅 0.01% — bravo_abad · 2026-10-23
- Google Cloud AI 发布 PLE 基准：所有前沿模型真实工程任务得分不足 50% — sainingxie · 2026-10-23