Exo: An Architecture for Self-Improving Systems at Runtime
Alexander Krentsel, Sylvia Ratnasamy, Ion Stoica, Martin Casado, Ankur Goyal
cs.AI
2026-10-31
伯克利提出 Exo 架构,agent 边干活边编辑自己的 harness 代码,各实验中模型成本降 14%–82%,正确率与对照持平。
Agent 的能力一半在模型权重,另一半在 harness 里。harness 是包在模型外面的脚手架:组装上下文、提供工具、管理记忆、把动作落到环境上。运维 agent 和编码 agent 需要的 harness 完全不同,每个新领域都要重配一份。
现在的两条路都不顺。手写靠领域直觉,慢且贵。自动优化(GEPA、Meta-Harness、AlphaEvolve 这一路)在外面套循环:提出候选 harness,在评测集上跑,按结果修订。前提是要有评测集,而论文引用的调研显示 75% 的受访生产团队根本没有 benchmark。任务 horizon 又越拉越长,已有执行持续数天到数周,每评估一个候选都要完整跑一遍任务。就算优化好了,执行期间策略也是冻结的:agent 可能早发现大部分日志与当前问题无关,context 组装逻辑却照旧全量塞入,同一个浪费反复出现。
Exo 的做法是把优化循环塌缩进任务执行,让干着活的 agent 自己改自己的 harness。
可行性来自 harness 的两个特性。优化器对称性(optimizer symmetry):改 harness 用到的动作,看源码、改文件、跑测试、申请生效,和干活的动作是同一套工具,「修订策略」因此能变成 agent 的普通动作选项。操作性同像性(homoiconicity):harness 策略本身就是代码文件,被优化的对象以数据形式摆在 agent 面前,拿编辑代码的工具就能直接改。两条合起来,外置优化器可以搬进 harness 内部;连「何时、如何自我改进」的策略本身也在可编辑范围内,agent 理论上能改进自己改进自己的方式。
自改有两个系统性风险:改坏了会连修复逻辑一起挂掉(fate-sharing);误编辑还可能抹掉执行历史,烧掉学习素材。Exo 借 1995 年 exokernel 的机制与策略分离来兜底:
还有一条容易被低估的设计:internal legibility。agent 能查询自己的完整执行历史,连带每步成本与缓存占比。论文认为这是有效的关键,效率信号在任务中途就可用,不用等任务跑完才有反馈。
实现已开源,核心运行时约 2 万行、起始策略约 1 千行,作者称已在生产环境服务上万量级任务、约 500 万条消息。
开放世界实验在 RuneScape 里做三个长目标(战斗练满、赚金币、手搓高级护甲),对照 Codex CLI 与 Pi 两个现成编码 agent,统一用 gpt-6.1-sol。standalone 指从零开始,transfer 指保留 agent 状态、换新账号重跑:
| 场景 | 指标 | Exo | Codex | Pi |
| 战斗 standalone | 完成成本 | $3.71 | $7.26 | $7.95 |
| 战斗 transfer(新账号) | 完成成本 | $1.92 | $6.87 | $10.89 |
| 制造 standalone | 完成成本 | $2.99 | $3.90 | $3.41 |
| 制造 transfer | 完成成本 | $0.88 | $1.89 | $1.61 |
| 赚钱 standalone | 千金币/美元 | 332 | 231 | 148 |
standalone 便宜 12–53%,transfer 便宜 45–82%,有限目标各组全部完成。学习有前期投入:前 10 分钟 Exo 已花 $0.31,Codex 和 Pi 只花 $0.12 和 $0.16,两家的累计花费分别在 25 分钟和 86 分钟后反超。战斗任务 Exo 共做 16 次自改,包括把近战动作打包成带经验回报的工具、自动跳过卡死目标、把 context 压到只留最近四轮摘要。负结果也如实报告:换成几乎不重复的任务链,Exo 每点进度花 $0.28,比 Codex 的 $0.24 和 Pi 的 $0.21 都贵,前期投入摊不回来。
三个有评分的 benchmark 改用同一份起始策略但不许自改的 Control(gpt-5.6-sol):AppWorld 是日常应用操作任务,SREGym 是线上服务故障诊断,CLB 是真实仓库的连续 issue 修复。
| 基准 | 指标 | Control | Exo |
| AppWorld(100 个 held-out 任务) | 通过率 | 96.9% | 96.9% |
| AppWorld | 每任务成本 | $0.359 | $0.141(↓61%) |
| AppWorld | 含学习总成本 | $57.36 | $32.70(↓43%) |
| SREGym(20 个 held-out 事故) | 中位诊断时间 | 81 s | 53 s(↓35%) |
| SREGym | 中位模型轮数 | 16 | 10(↓38%) |
| CLB 编码(19 个 issue) | 解决率 | 100% | 100% |
| CLB | 每议题成本(含反思) | $0.507 | $0.436(↓14%) |
AppWorld 上含学习的累计成本第 9 个任务就低于 Control,缓存输入份额从 57.5% 升到 86.1%,学到的典型工具是一次拉回多个 API 文档的封装。SREGym 上它造了事故快照工具并迭代五版,held-out 事故的诊断第一步都从调用它开始。换弱模型就失效:gpt-5-mini 跑 AppWorld,三个种子都没怎么编辑、也没复用工具,成本与通过率和 Control 基本持平($6.63/59% 对 $6.73/55%),论文称之为 intelligence floor。
对做 agent 的人有三点实际价值。harness 工程是真实成本,这条路线把适配搬进部署环境,不依赖 benchmark,学习就发生在策略将来的使用现场。学习产物是显式代码 diff,可检查、可测试、可回滚,能直接接入现有代码评审,比把持续学习写进权重可审计得多。代码开源,核心仅 2 万行,不是论文专属系统。
同时要看清它买到的是什么:全部数字都在效率和成本上,各基准正确率一律持平。它让 agent 更便宜、更快、可迁移,没有更聪明。作为渐进但扎实的系统工作,这个定位是诚实的。