Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力
google · hf · 2026-10-16
Google 团队(联合 Emory、USC 等高校)发布 CLASHarness,一个可控、可验证的多智能体冲突基准生成框架,针对计算机使用(computer use)场景。
核心问题:现有基准大多假设智能体处于一致、合作的环境,但真实协作中,子智能体经常报告过时状态、发出矛盾指令、争夺共享文件与权限,智能体必须核实他人输出并验证环境中的事实真相。
方法:手工构造任务无法规模化,而 unconstrained LLM 生成又存在叙事漂移、答案泄漏、评分标准不可解等问题。CLASHarness 通过可控生成管线解决这些问题。
发现:前沿视觉语言模型在验证 ground truth、解决冲突、协调共享资源三方面均表现吃力。
「编程与Agent」频道最新
- 一人公司案例：Ferryman 靠「一处发帖、全网同步」月费 30-100 美元 — KevinNaughtonJr · 2026-10-16
- Gemini 官网宣称一键打开 Antigravity,用户实测却处处碰壁 — dreamwieber · 2026-10-16
- 阿里 Qoder 采纳开放标准 UHP，可作产品 Agent 后端 — nevrekaraishwa2 · 2026-10-16
- Vercel Drives 正式发布:给 Agent 配上跨环境持久化存储 — evilrabbit_ · 2026-10-16
- Vercel Ship SF 2026 议程公布:Anthropic、Cursor、Meta 都要登台 — evilrabbit_ · 2026-10-16
- Veracode 报告：AI 写了近半代码，但安全通过率仅 56% — WeldPond · 2026-10-16