十三条企业 SOP 上八臂对照:单 Agent 最省,只有编排 v2 显著更准

Agent Architecture Cost-Success Trade-offs: A Controlled Evaluation across Enterprise-Style SOPs

Subhrangshu Nandi, Hitesh Arora, Yunfei Bai, Udita Patel, Chirag Shah, Hannah Kwon, Wei Zhang, Weian Chen, Chloe Ruoqi Li, Alberto Sconfienza, Ayush Goyal, Yasmine Lee, Ming Xiong, Prathap Ramachandra

cs.AI

2026-11-07

固定模型和工具,在 13 条企业 SOP、每臂 2124 题上比较八种架构:单 agent 宏观成功率 67.4% 且最省,协调式设计多花 1.4 到 4.7 倍 token,只有重修的编排 v2 显著升到 75.6%。

这篇在解决什么

企业用大模型 agent 执行 SOP,也就是长规程、多分支、靠工具推进的标准作业程序。agent 要读步骤、填参数、记住状态,再交出一个决定。可选做法已有四类:函数调用单 agent、按需加载 skill 的单 agent、中心编排、分诊后互相交接的 swarm。skill 是一份可复用的流程说明。

缺的是只改架构的对照。现有工作分开测 skill 或协作,没有把模型、任务、工具钉在同一套长流程上。多 agent 容易被当成升级,token 和延迟先付出去。

方法

实验在 SOP-Bench 上做。mock 工具的返回值写死,各臂见到的外部结果相同,差别来自架构和 skill 文本。模型固定为 claude-opus-4-8。基线宏观 TSR 在 Opus 4.6 到 4.8 之间最多差 2.3 个百分点。宏观 TSR 指先算每条 SOP 的成功率,再对 SOP 平均。结论不外推到其他模型家族。

主对照是 13 条 SOP、每臂 2124 题、八个臂。

50 分量表把 skill 当流程工件来打分,维度包括可发现性、指令、契约、消歧和治理元数据。高质语料均分 99.8%,退化语料 67.6%。分数只描述说明书,不预测 TSR。低质版是高质版的整包删减。

TSR 是做对题数除以全部题数,多字段要逐项匹配。SOP 之间的标准误约 7 到 9 个百分点,任务级约 1 个百分点。汇总差都配逐 SOP 的符号检验。OSG 让 skill 只当建议、工具全开,只在两条工具最多的 SOP 上试,不进主表。

结果

流程难度压过架构。八臂宏观 TSR 的标准误为 6.3 到 7.8 个百分点,区间重叠。没有一臂能在符号检验里和基线分开。

拉开差距的是成本。基线每题约 2.49 万 token、24.0 秒。协调式各臂花费 1.4 到 4.7 倍 token、2.6 到 5.8 倍延迟。没有一臂又更便宜又更准。编排 v1 和无蓝图 swarm 都被基线压过。

方法宏观 TSRtoken 与延迟
单 agent 基线67.4% ± 7.72.49 万,24.0 秒
编排 v158.2% ± 7.71.4×,2.6×
swarm descriptive70.4% ± 6.61.9×,4.2×
swarm 无蓝图65.4% ± 6.92.1×,4.4×
CSE 低质59.8% ± 7.82.4×,2.6×
swarm full70.5% ± 6.82.7×,5.8×
CSE 高质73.1% ± 6.33.0×,2.8×
编排 v275.6% ± 6.34.7×,3.1×

基线在 13 条里赢 v1 九条,六条 p < 0.05,v1 也是宏观最低的一臂。失败集中在字段耦合的流程:patient intake 13.6%,KYB 23.3%。worker 只看切片,缺输入时无人能补,流水线用占位结果弃权。

v2 补上这一缺口后,patient intake 到 98.5%,邮件意图从 75.8% 到 96.2%,KYB 从 23.3% 到 60.0%。13 条上的随机效应模型给出优势比 1.72,p = 0.007。它是唯一显著超过基线的臂,75.6% 对 67.4%,多 8.2 个百分点,token 也最贵,约为 v1 的三倍。允许弃权就输,强制提交并重派才赢。

高质 skill 比低质高 13.3 个百分点,但增量集中在 KYB(+45.6)和邮件意图(+39.2)。符号检验 7 胜 4 负 2 平,不显著。低质语料 59.8%,还低于裸基线。referral 第二版上,退化 skill 丢掉输出契约,近乎正确的答案写进编造字段,整题算错。

无蓝图 swarm 为 65.4%,descriptive 70.4%,full 70.5%,后两者符号检验 p = 1.00,full 比 descriptive 多 42% 的 token、39% 的延迟。推荐滥用 v2 的 200 题里,无蓝图有 55 题过早升级。full 要求阶段全部跑完,把 KYB 上「材料不齐就停」也冲掉,改判升级。

简单 SOP 上基线已有 71.8%。复杂 SOP 上基线掉到 63.6%,编排 v2 仍有 72.9%,高质 CSE 71.1%,低质 skill 跌到 49.4%。优势随复杂度的 Spearman ρ 最高约 +0.38,13 条时绝对值要超过 0.56 才显著。

工具锁不锁也看题面。8 个工具的 KYB 上,CSE 高质 85.6%,OSG 高质 68.9%,基线 38.9%。26 个工具的视频标注上,OSG 高质 57.6%,高出 CSE 高质 37.6% 约 20 个百分点。

descriptive swarm 相对基线,KYB 高 17.8 个百分点,token 2.0 倍、延迟 3.6 倍;危险品低 0.7 个百分点,token 2.3 倍、延迟 4.4 倍。盈亏线只是示意。

为什么重要

默认可以从单 agent 起。在目标 SOP 上量边际 TSR,再决定是否为编排或 skill 付钱。高质 skill 以 3 倍 token 换 5.7 个百分点,descriptive swarm 以 1.9 倍 token 换 3.0 个百分点,两者相对基线都不显著。唯一显著的编排 v2 要 4.7 倍 token。

换架构族之前,先看 worker 会不会用占位符弃权。说得通的多 agent 会输给单 agent,补上全量上下文和一轮重派才会赢,同时变成最贵的臂。欺诈、审核和入院式登记上,成功率远不够自动执行,差的 skill 还会在表面正常时写出坏 schema。

局限与存疑

工具是合成的确定性 mock,没有线上延迟、故障和随机返回。只有 claude-opus-4-8。每题只跑一次。各臂跨了多次运行和代码修订。过程指标缺参考标注。每种架构只有一种实现,skill 高低是整包退化。复杂度和收益的相关都不显著,OSG 只有两条 SOP。

稿内数字对不齐。摘要、方法和表 3 写 13 条 SOP,编排 v2 为 75.6% 对 67.4%,优势比 1.72,p = 0.007,成本 1.4 到 4.7 倍 token、2.6 到 5.8 倍延迟。结论和局限改成 12 条,74.4% 对 65.6%,优势比 1.78,p = 0.008,成本写成 1.5 到 4.8 倍和 2.5 到 5.9 倍。复杂度在正文是简单 6 条、复杂 7 条,表注又写各 6 条。

多字段评分还有洞。输出契约出错会把决定截成近乎全错。修好后,swarm 上的飞机检查、邮件意图和 patient intake 上升,编排的多字段格子仍是临时结果。patient intake 从 13.6% 到 98.5% 正落在这里。这条从输到赢的逆转,还缺一次同样修复后的复算。

术语

原文与代码

社区讨论

相关论文

全部论文解读