Relic: From Multi-Agent Collaboration to Persistent Organizational Capability
Hongyi Du, Tianyi Zhang, Weijia Zhang, Yi Yang, Haofei Yu, Kunlun Zhu, Tianxiang Dai, Shang Jiang, Zhelun Gao, Jiaxin Pei, Shang Zhu, Jiaxuan You
cs.AI, cs.SE
2026-09-27
Relic把协作失败编成可执行协议,360轮完整合同从14.06%升至19.76%,换人后绑定比文本高6.5pp。
几个写代码的智能体共管一个仓库时,容易碎掉的是接口和集成。一个成员改了共享函数的返回值,另一个仍按旧签名写客户端,测试对着已经过期的提交记录显示通过。ChatDev、MetaGPT、AutoGen 用角色对话和人工流程协调当前在场的成员。一轮冲突可以在聊天里谈拢。人员更换之后,当时的约定并不会自动变成新成员的义务。有工程报告写过,新开的写代码会话没有上一轮记忆;也有报告称模型怀疑子智能体改了共享代码,于是把顾问权限改成只读。
可复用的技能库能够把测试步骤留下来,Voyager 那种可执行技能也能直接跑测试套件。技能不指定谁必须担任独立审查者,也不要求合并前交出针对当前提交的新鲜证据。约定如果只停在对话里,就只约束当时在场的人。
Relic 把状态拆成三块:成员私有的记忆与工作区、共享的代码和任务、组织拥有的 protocol。后一块跟着角色走,不跟着某个具体成员走。一条 protocol 写清触发条件、责任角色、要交的证据、执行后果,以及如何修订和退役。成员从看得见的摩擦里提出规则,系统校验证据是否落地、能否接到现有动作上,审批通过后编译成 runtime binding,送进动作选择和执行检查。
动作由 Structured Decision Layer(SDL,结构化决策层)打分。三十二维特征覆盖进度、角色匹配、协作、仓库健康和协议义务。权重事先固定,protocol 只改输入,不改打分器。大模型只在需要写代码或发消息时出场,日常调度不必每次调用模型。治理是半自动的:至少两名支持者、两名独立审批人、最短三步审阅、adoption score 不低于 0.6;提案卡住超过 24 步才允许有限补批。模型参数和执行代码全程冻结,线上改动的是规则内容。
B0 是带反思的单智能体,B1 是八人长程团队,B2 加上 SDL 和成员学习但关掉协议生命周期,B3 才是 Relic。B3 减去 B2,测的就是多出来的那一层制度。
主实验覆盖 10 个软件工作负载、3 个模型(GPT-5.6 Terra、Claude Opus 4.6、DeepSeek-V4-Flash)、每格 3 个随机种子,共 360 次受控运行,每轮 336 个调度步。五个任务从骨架从零实现,五个按冻结的上下游版本做修复和扩展。完整合同要求一组相关行为用例全部在 mainline 上通过。
| 条件 | 完整合同 | 留出用例 | 公开用例 | 确认的 seeded issue |
| B2(有 SDL,无协议生命周期) | 14.06% | 9.57% | 19.31% | 17.91% |
| Relic(B3) | 19.76% | 17.28% | 25.89% | 24.87% |
| 差值 | +5.71 pp | +7.72 pp | +6.58 pp | +6.96 pp |
四个端点在三个模型分层里的点估计都为正。B3 每轮平均 7.259M token,B2 是 4.274M。按确认问题计,在 20 个共有的模型-负载块上配对差是 -0.448M,区间跨过零。把 Relic 截到 B2 实际花掉的 token 再比,四个端点仍为正,完整合同 +7.45 pp。无结构的八人团队 B1 每轮烧掉约 45.2M token,比 Relic 贵一个数量级。
Terra 加 Opus 共 60 轮普查记录了 497 条自治提案,405 条曾经被采纳,280 条达到持续使用,其中 32 条能把他人执行或强制和独立评测连上。87.1% 落在审查合并、发布工程和证据治理。相对 B2,已接受工作送上 mainline 的比例从 32% 提到 36%,PR 合并率从 44% 提到 50%。单智能体补丁接受率最高(86% 对 Relic 的 81%),完整合同却最低。本地测试通过带不来集成交付。
可执行绑定拆开测了两次。Claude Opus 4.6 上 30 轮配对,B3-text 保留提案和可读规则、拿掉 binding,完整合同从 22.20% 掉到 15.03%。换全新成员、冻结同一包规则:无继承 25.4%,纯文本 34.6%,可执行绑定 41.2%,binding 相对文本再高 6.5 pp。
CooperBench 按同一规则剔除损坏 pair 后,Relic 为 367/477(76.9%),官方 peer 282/477(59.1%),最强层级 Team 354/477(74.2%)。固定 48 pair、同用 Claude Opus 4.6 时,官方 Peer 从 Solo 的 26/48 掉到 13/48,Relic 是 29/48。ProgramBench 25 题上,给 mini-SWE-agent 挂 6 条可执行加 3 条顾问规则并关掉 SDL,行为通过率从 64.164% 到 70.916%。
一条追过的案例(miniblobstorev1,种子 1401,GPT-5.6 Terra):接口审查规则第 12 步提案、第 21 步采纳,后续 211 次强制、12 个 PR 被挡过。同设置下 B1 接受 168 个补丁只合并 2 个 PR,Relic 接受 118 个、合并 76 个,用例 28/35 对 0/35。论文写明 76 次合并里 65 次从未被这条规则挡住,单规则的因果贡献没有被隔离。
对要跑多智能体写代码的人,这篇把组织能力落成一块可迁移的状态:规则在成员之外,角色换了义务还在。可读规则已经有用,绑进运行时才把多出来的分数做实。线上可以边干边学,也可以把冻结规则包接到别的执行框架上,ProgramBench 就是后一种。
增量是真的,幅度别夸。完整合同仍只有约两成。CooperBench 上相对有层级的 Team 只多 2.7 个百分点。这是给长程协作补一层制度,不是在换更强的写代码模型。
作者把评估收在软件生产,并点名跨领域迁移、选择性遗忘、规则质量诊断、别的决策层、人与组织交互都还没做。SDL 权重是手工指定的,协议生命周期只改规则内容,打分器本身不学。
换人实验里 Exec 减 Text 的 95% 区间是 [0.7, 15.6],下沿几乎贴零。280 条持续使用的谱系里只有 32 条有强证据链。CooperBench 的 76.9% 先剔除了损坏 pair,相对 Team 的优势很小。从零构建的五道题里,规格、参考实现和测试由大模型代写再冻结,评测器与生成器同源的风险没有单独拆开测。B1 每轮约 45.2M token,说明加人可以非常贵;Relic 相对 B2 每轮也多花约 3M token。按同等花费截点仍有增益,并不等于生产里愿意付这层治理税。