CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
Yuxiang Lai, Jike Zhong, Chengzhi Liu, Ming Li, Haonan Wang, Xiaofeng Yang, Liang Zhao, Youbao Tang, Ruixi Fan
cs.MA
2026-10-14
CLASHarness生成600道可验证的多智能体电脑冲突，15个前沿模型整题最高通过率28.7%，收尾失败超过58%。
OSWorld、WebArena 这类 computer use 基准默认环境自洽，一个智能体把任务做完即可。computer use 指模型直接改文件、跑命令、看界面。多智能体评测大多还是纯文本对话。真实协作里，子代理会拿过期缓存声称部署成功，现场健康检查却失败，共享锁也被占着。主代理得核对说法，再按环境里的真实状态回滚或交接。
手写扩不开。自由生成会剧情漂移、泄漏答案，并写出做不到的评分。CLASHarness（Conflict-Loaded Agent Scenario Harness）由 Google 与多所高校提出，用来批量制造可解、可判的多智能体冲突，并把关键事实锁在图里。
一回合是元组 (W0, I, T, v★, Φ)。W0 是初始工作区，有系统状态、文件、代理通信和截图。指令列出矛盾说法，但不指明谁对。v★ 是事先提交的关键事实。Φ 兼有精确代码检查和范围有限的语义标准。
自由生成容易把世界观和评分写崩，因此拆成三层。第一层约 8 次调用，定下 10 回合共用的大纲、权限和仓库。第二层每 3 到 4 回合，用近期历史扩一次里程碑，避免整包上下文溢出。每一回合 8 步：写指令并扫描泄漏、同伴对话、文件变更、视觉素材、提交 v★、执行计划、沙箱参考轨迹、纯代码编译检查。第三层对齐指令与评分，把 v★ 嵌进界面后渲染，并让该看图的任务里文本不含 v★。
格式错误代码直接改，逻辑错误只重试当前步。一个 10 回合包平均 95 次调用。23 个插件中 16 个管冲突、7 个管挑战，只声明状态效果。
600 回合来自 20 个种子、各 3 个变体，20 个操作域。参考轨迹平均 10.28 步，预算 20 步。7970 张图在渲染前绑定 v★。3284 条计分检查里，代码占 34.9%（1147 条），语义占 65.1%（2137 条），交给 LLM judge 做三次投票，19419 次判定里 97.5% 全票一致。346 回合强制看图。视觉定位对语义解冲突 ρ=+0.02，代码与语义的排名 ρ=+0.90。视觉核对、证据引用、收尾和时间窗只走代码检查。
报销回合里，旧缓存写着 850.00 欧元，四分钟后的小票是 725.46 欧元。工作区 25526 个字符中，正确金额没有出现，过期金额出现 14 次。
15 个模型、600 回合、高推理力度。通过率是必做检查全过，平均分是单条检查通过的比例。易、中、难对应参考轨迹 ≤9、10–11、≥12 步。
| 模型 | 通过率 | 平均分 | 难任务 |
| GPT-6 Astra（均 26.1 步） | 28.7% | 66.8% | 18.6% |
| Claude Opus 5 | 25.2% | 64.2% | 13.6% |
| GPT-5.6 Sol | 24.5% | 63.3% | 13.6% |
| Kimi K3 | 21.8% | 55.9% | 12.1% |
| Gemini 3.1 Pro | 12.0% | 48.7% | 5.7% |
| Gemini 3.5 Flash | 3.0% | 25.9% | 2.1% |
单条检查上，前沿模型能过 55%–67%，整题最高仍是 28.7%。Astra 只有 1.0% 的回合撞到步数上限，更多时候自己停掉，锁没放，交接没做。它比 Opus 5 高 3.5 个百分点，多重比较校正后不显著。20 步预算下，Opus 4.8 与 Sonnet 5 分别是 22.8% 和 20.8%。
力度从 Low 提到 High，Opus 5 从 23.5% 到 25.2%，Medium 已是 25.3%。GPT-5.6 Luna 从 19.5% 到 19.8%。Gemini 3.7 与 3.6 Flash 的峰值在 Medium，分别是 21.5% 和 20.2%。Gemini 3.5 Flash 从 Low 的 13.5% 掉到 High 的 3.0%（Medium 为 3.2%）。它的思考 token 占 90.5%，89.2% 的回合把步数用完。Opus 5 的思考占比是 8.8%，用完步数的回合只占 0.5%。在 20 步预算的 API 模型上，思考占比和成功率负相关，ρ=−0.697。
15 个模型合计：只调查时通过率 28.1%，必须改状态时 11.0%。对照臂同位置且门控不触发，变化 +1.1 个百分点。净差 −18.2 个百分点，95% 区间 [−29.1, −7.2]，精确检验 p=.052。同一处理臂上，推进协议降到 12.3%，做完协议只剩 4.4%。平均分只掉 7.9 个百分点（p=.252）。
收尾动作（释放共享锁、完成交接）失败率 58%–72%，时间窗同步失败率 83%–97%。Astra 和 Opus 5 的收尾失败都超过 58%。视觉核对上，强模型领先弱基线 31–65 个百分点；头部模型之间，证据引用仍差 15.2 个百分点。六个冲突类别看不出专精，校正后 p≥0.094。
短任务上 11/15 的模型错误连锁，共失败提升显著大于 1。长任务上这个倍数落到 0.99–1.06。不看图时，254 道未强制看图的题只剩原通过率的 11.1%–13.1%（p<10⁻¹¹）。换 Claude Sonnet 5 生成后，轨迹 12.5 步对 10.3 步，排名 ρ=0.96。高力度一共 11737 美元、87493 次调用，每解出一题从 GPT-5.6 Luna 的 0.72 美元到 Gemini 3.5 Flash 的 39.54 美元，大约 55 倍。
多个代理改同一套系统，坏在过期汇报、没看屏幕、没收拾锁和交接。调查与改状态分开测，协议类指标用代码检查。参考轨迹真的执行过，检查从状态差编译，避免评分本身无解。
插件按效果登记，换冲突不用改评分器。加长思考常常不涨分。Gemini 3.8 Flash 把步数从 20 增到 40、60，通过率从 12.8% 到 29.2%、30.7%（p=.0098），单题成本降 21% 至 3.50 美元。28.7% 的整题通过率下，还不能让多个代理改生产系统。
论文承认三条。语义项没有人工标注，靠三次投票和跨裁判复核，ρ≥0.98、κ≥0.90。479 条分歧全部往不利方向翻，通过率最多动 2.33 个百分点，名次最多动一位。交互记录是工单和日志，不是实时对聊。场景全是冲突回合，没有无冲突基线。
净差的精确检验 p=.052，没过通常的 0.05 线，自助法区间却不含 0。门控回合的参考轨迹略长，11.1 步对 10.6 步，检查项 6.5 对 5.8，分层后净差仍为 −18.4 到 −19.4 个百分点。Astra 平均 26.1 步，预算长于 20 步组，名次会变。按构造可解，只说明有一条参考轨迹能过。65.1% 的计分来自模型裁判，复核裁判含 Claude Sonnet 5 与 Opus 5，和部分被测模型同族。DeepSeek V4 Pro 的 19.8%、GLM-5.2 的 14.7% 用的是 OCR 转写，不是直接看图。题由 Gemini 3.6 Flash 生成，换生成器后排名稳，但仍是合成场景。