Raven: The Harness of Harnesses for Composable Agentic Intelligence
EverMind AI
cs.AI, cs.CL, cs.GT, cs.MA, cs.NE
2026-09-27
开源框架 Raven 把「模型+harness」对当作可组合单元,用类型化 DAG 编排 Claude Code、Codex 等异构 agent,自建编排基准 Exact Match 领先最强基线 10.5 个百分点。
Agent 系统正从单域任务走向长流程跨域工作流。论文举的例子:开发并运营一款 FPS 游戏,调研、编程、美术、集成测试到持续运维,各阶段工具和完成标准都不同。一个 agent 的实际能力取决于模型,也取决于 harness,即模型外围的工具接口、上下文管理、技能与执行恢复策略。痛点有二:harness 的设计选择随工具与执行条件组合爆炸,手工配置难以跨模型跨领域扩展;专门化 harness 又固化了对工具与输出的假设,把多个领域的 agent 拼进一条工作流,既要给子任务配对执行者,又要保证交接兼容。论文引用的失败分析把 agent 间不对齐、任务验证不足列为多智能体系统的常见死因。AutoGen、MetaGPT 把角色放进同一框架架构,分工仍靠人配。Raven 换了个问法:不替某个领域手工造更强的 harness,改为自动构造、用经验改进、再跨域编排它们。
Raven 是开源多智能体生态系统,核心抽象是把「模型 + harness」这个可执行对当作可组合的智能单元,机制分四层:
理论部分把「能力」形式化为共享预算下的可靠任务覆盖,节点与边带类型化契约,结论有三:兼容计划执行完毕必然交付正确结果;系统成功率不低于 1 减各环节误差之和,不需独立性假设;满足局部互补、交接兼容、误差有界时,组合系统能解任何单个 agent 都解不了的任务。论文的构造很干净:任务是输出两个隐藏比特的异或,a1 只能读 U,a2 只能读 W,单个 agent 答对率上界 1/2,三节点组合零误差拿到 1。各处设计都有对准的失败模式:完成判定针对「声称成功却没产出工件」,分阶段加载省的是最贵的资源,上下文。
评测按能力分层:编排、四个原生专家、harness 进化、技能复用。编排用自建 MAOB 基准,在 worker 执行前比较生成的 DAG 与参考图:
| 设置 | 指标 | Raven | 最强基线 |
| MAOB / Qwen3.8-27B | Exact Match | 0.711 | 0.607 |
| MAOB / Qwen3.8-27B | Partial Order Accuracy | 0.950 | 0.780 |
| MAOB / DeepSeek-V4-Flash | Exact Match | 0.867 | 0.762 |
| SWE-bench Verified / DeepSeek-V4-Flash | Resolved | 76.5 | 68.9 |
| GDPval / Qwen3.6-35B-A3B | 分数 | 56.3 | 49.7 |
| Raven-Oncall 内部评测 | 成功率 / 单例成本 | 82.35% / $5.10 | 64.71% / $13.60 |
MAOB 上 Raven 在两个骨干的全部四项图指标均排第一:Qwen3.8-27B 下 Node F1 0.923 对 0.776,Exact Match +10.4 个点;DeepSeek-V4-Flash 下 +10.5 个点。GDPval 换 Qwen3.5-397B-A17B 骨干为 59.3 对 56.0(+3.3 个点)。Oncall 内部评测成功率高出 17.6 个点,单例成本降 62.5%。基线口径要注意:Best Baseline 是各设置下最强的已报告对照,不同设置对手不同。
对做 agent 平台的团队,价值不在跑分,在三个工程决策。harness 被当作可版本化、可进化的制品,组合层只管类型化交接;第三方 agent 经适配器当 worker,已有 Claude Code 或 Codex 投入的团队加一层编排即可接入;派发前验证、上游产物标记不可信、独立完成判定、有界异常恢复、按引用跨图复用、授权永不代答,这些细节不装整个系统也能搬走。理论上「组合能覆盖个体覆盖不了的任务」在多数系统论文里只是直觉,这里前提写明了,组合失败时能追问哪条断了。代码已开源。
作者对理论的坦白可以直接引用:结论是充分条件,「实测平均成功率本身不能确立条件可靠性前提」;异或构造里单个 agent 的 1/2 上界来自人为限制的接口,给同一个 agent 装上两个读取接口它也能自己解,论文承认这不构成对另一种 harness 的优势。评测侧疑点更多。MAOB 量的是执行前的规划一致性,不是端到端结果,论文自己也说需补端到端指标、成本核算与失败归因;基线逐设置取最强已报告对照,口径不统一,图 1 里多个设置增益不足 3 个点(SWE-bench Pro 54.4 对 52.4),「显著超越」的说法主要靠 MAOB、SWE-bench Verified 和 Oncall 撑起;Oncall 是内部 AI4S 评测,外部无法复现;harness 进化与技能复用的证据取自已发表的 HarnessBank、SkillCorpus 实验,不是对 Raven 全链路的重新评测。工程上还有一处隐患:判定失败即按完成回退,且判定本身「不证明客观正确」,完成率统计可能偏乐观;理论要求把规划、判定、重试、交接都计入成本,但除 Oncall 外其余设置没有同框给出开销。