WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems
Zheng Jiang, Fang Niu, Bo Peng, Houde Qian, Wenyi Li, Deyao Hong, Mingju Gao, Yizhe Chi, Youjie Zheng, Kaisen Yang, Calvin Xiao, Lifeng Sun, Huan-ang Gao
cs.CL, cs.SE
2026-11-10
145 项长程任务实测多智能体编排:最强配置仅解决 36.95%,Opus 写的工作流让弱模型平均涨 6.41 分。
Claude Code、Codex 这类 agent harness 已经允许模型在运行时自己拉起 worker 子智能体、自己写可执行的工作流去调度它们。多智能体系统的结构从开发者预先写死,变成模型现场决定,组织得好不好随之成了模型的一种属性。现有评测测不到这件事:端到端 benchmark 把 agent 当单个黑盒,只看任务完没完成,工作怎么拆完全不可见;多智能体 benchmark 的协作结构由设计者预先指定,测的更像服从度;工作流生成的评测大多离线打分,没落到真实工件上。WorkflowArena 补上这块空缺,把这种能力形式化为 workflow orchestration,直接在真实专业工件上评测:模型怎么拆任务、给每个 worker 什么上下文、中间结果怎么验证和整合。
任务侧,145 项任务覆盖 8 个领域(SWE、运维、科学、形式数学、财务、法律、内容、3D 制作)和 17 种任务形态,素材来自开源仓库、mathlib4、SEC 10-Q 文件、MAUD 协议、开源影片等真实专业材料。构建多是「重建式」:把目标工作从素材里挖掉、保留周边上下文,隐藏测试和参考答案不进 agent 可见的工作区。交付物必须由相互依赖的组件整合而成,比如合同组合里各协议的条款分析要交叉对账、形式证明里后一步建立在前一步上;验证器专设只有整合结果才能通过的检查,再经专家逐项审查和「应失败提交」测试才收进任务集。
协议侧是关键设计。每个任务 4 小时墙钟预算,主 agent 和所有 worker 共用,组织工作的时间与干活抢同一个预算。agent 有完整 shell 和文件编辑权限,外加一个 Workflow 工具,可启动最多 16 个并发 worker 的后台工作流,并随时查看、修改、终止;worker 是同模型同配置的新实例,从全新上下文启动、只共享工作区,给每个 worker 交代什么本身就是被评测的行为。原生子 agent 机制被禁用,委派与否完全由模型自己定。隐藏验证器打 0 到 100 的连续分,resolved 则要求满足该领域全部验收标准。
9 个模型、25 种「模型加力度」配置,跑同一套 145 任务:
| 配置 | Overall resolved | 备注 |
| Claude Opus 5.5 + Claude Code(max) | 36.95% | 总榜第一,SWE/SCI/MATH 三域第一 |
| Claude Opus 5.5 + Claude Code(high) | 34.11% | $6.66/任务 |
| GPT-6 Astra + Codex(xhigh) | 30.80% | $29.26/任务 |
| GPT-6.1 Sol + Codex(low) | 27.59% | $3.61/任务 |
| GLM-5.3 Flash + Claude Code(max) | 4.43% | 垫底 |
没有任何配置在所有领域领先。MATH 接近饱和(最高 95.83%),SWE 最高 29.41%,LAW 从未超过 9.09%,FIN 从未超过 18.75%。推理力度对两家的影响也不对称:Opus 在 low 到 max 五档间从 22.02% 摆到 36.95%,Astra 只在 27.34% 到 30.80% 之间窄幅波动,Sol 的 low 档甚至比 medium 和 high 都高。
委派风格分成两派。high effort 下,Opus 和 Sonnet 平均每任务 0.86 和 0.76 次 Workflow 调用,每次带 5.55 和 6.14 个 worker;Astra 和 Sol 每任务 2.09 和 1.94 次调用,每次只有 1.72 和 1.69 个 worker,约 99% 的 GPT 系工作流不超过 4 个 worker。Claude 系低频大编队,GPT 系高频小组,领域还会重塑这个偏好:法律任务里 Opus 平均每个工作流带 14.29 个 worker,GPT 系只有 1.7 个左右。
成本口径下排序重排:Opus high 以 34.11% 花每任务 $6.66,Astra xhigh 低 3.31 个点却要 $29.26,贵 4.4 倍。
信息量最大的是迁移实验。在 32 个高难度任务上固定执行模型(Kimi、DeepSeek V4.1 Flash、GPT-6 Luna、Doubao),只换工作流的作者:Opus 写的工作流让四个执行模型全部涨分,static 模式平均 +6.41,Kimi 在 dynamic 模式从 35.75 涨到 46.61;Astra 自己远强于这四个执行模型(27.34% 对最高 16.48%),它写的工作流在 static 模式平均倒扣 2.53 分,还拉低了 Kimi 和 DeepSeek。会自己做题不等于会组织别人做题,编排质量是可以单独测量的性能来源。
对做 agent 系统的人,这个 benchmark 把「要不要多智能体、怎么拆、拆多大」从经验判断变成测量对象。两条结论可以直接拿走:委派策略没有普适最优,得按领域调;强模型出工作流、弱模型执行是一条成立的降本路径,Kimi 借 Opus 的工作流涨了 10.86 分。也要说清,这是一篇 benchmark 论文,方法上没有新组件,贡献全在任务构建、评测协议和实证发现,价值取决于社区采用度。
作者自己列了四条:每配置每任务只跑一次,没有方差估计,接近的排名之间差异不可靠;每个模型只在一个 harness 里测,Claude 与 GPT 的差异是模型加 harness 的联合效应,拆不开;内容和 3D 交付物由 Gemini-3.8-Flash 按 rubric 打分,与人的一致性没测;迁移实验只用 32 个任务、两个源模型,且源模型连给 worker 的指令也一并写,涨分可能混入任务知识而非纯组织能力。另外两点论文没有处理:4 小时统一墙钟预算对不同领域的任务是否等价,没有敏感性分析;Overall 按域等权平均,任务数不同的域权重相同,单域噪声会直接进总榜。