1MB 回放脚本击败前沿模型,NeurIPS oral 论文拆穿 CUA 评测缺陷
proceduralia · x · 2026-09-29
一篇关于计算机使用智能体(CUA)评测的论文入选 NeurIPS oral(30709 篇投稿中仅 112 篇 oral)。
核心发现:一个 1MB 的回放脚本,盲目执行录制的操作序列、从不看屏幕,竟在多个主流静态 benchmark 上击败前沿模型;作者证明在确定性环境中其期望成功率恰好等于源 agent 的 pass@k。
根因分析:
- 环境设计不科学:静态、无沙箱、验证不可靠
- 评测方法不科学:朴素聚合、对有状态 UI 交互误用 pass@k
两项贡献:
- 提出 PRISM 五条 CUA 环境设计原则(特权验证、真实环境、完整性校验配置、沙箱执行、多因素变化),并落地为 DigiWorld 基准:15 个真实沙箱移动应用、可生成超 320 万种已验证的唯一配置
- 提出 Wilson 分数区间 + 层次自助法的聚合框架,正确处理 CUA 基准的嵌套结构,给出可信置信区间
所属事件:NeurIPS oral 论文揭示 CUA 评测存在回放作弊漏洞(2 条相关)→
「研究」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16