30709 投稿中 112 篇 oral:NeurIPS 论文揭 CUA 评测「回放作弊」漏洞
proceduralia · x · 2026-09-29
一项关于计算机使用智能体(CUA)评测的研究入选 NeurIPS oral(30709 篇投稿中仅 112 篇 oral),由 Meta Superintelligence Labs 团队完成,横跨实验、理论、统计框架与工程设计多个层面:
- 反直觉实验:在常见 CUA 基准上,一个只「回放」前沿模型成功轨迹的 replay agent 就能达到 SOTA 成绩,暴露评测协议漏洞;
- 理论证明:数学上证明该 replay agent 正是社区常用的 pass@k 指标的「agent 化」,指出该指标的缺陷;
- PRISM 原则:提出一套设计 agent 基准的通用原则,避免回放攻击等常见问题;
- Digiworld 基准:将原则落地为大规模移动端使用基准,自动生成并校验数百万个任务变体来防御回放攻击;
- 统计框架:借鉴强化学习评测方法,利用基准结构精确估计 agent 表现;
- 模型评测:用新环境测得现有前沿模型 CUA 相当脆弱,对 UI 颜色等人类无感的微小变化就大幅掉分。
结论:当前主流 agent 基准成绩可能被记忆式作弊虚高,真实泛化能力远弱于榜单表现。
所属事件:NeurIPS oral 论文揭示 CUA 评测存在回放作弊漏洞(2 条相关)→
「模型」频道最新
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- Nathan Lambert 点破 Ethan Mollick 榜单对比漏掉了 Kimi — natolambert · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析 — No_Cartographer3953 · 2026-11-16