ParallACT基准发布：多principal多agent协作，Opus仅16%成功率

EliasEskin · x · 2026-11-04

现有大多智能体基准假设一个全局请求被拆成兼容子任务，但真实大型代码库中上千名开发者各自产生独立请求，可能互相冲突且 agent 互不知晓；把所有请求发给中心 agent 又造成瓶颈与单点故障。作者提出 ParallACT：从真实 SWE-Bench Pro 任务（Task A）出发，配上触碰同一代码的另一独立动机任务（Task B），每个 agent 只看到自己的任务。任务分两类：互补型（双方须商定共享接口才能通过集成测试）与矛盾型（双方以不兼容方式改同一代码，但存在联合解）。前沿模型在此设置下表现挣扎，即使能对话也仅 16% 成功（Opus 4.8）。