把环境当第三条优化轴:Berkeley EnvOpt 降本 72.7%,精度反升 14.3%

EnvOpt: Automated Optimization for Agent Environments

Mingxuan Li, Huanzhi Mao, Qiuyang Mang, Hanchen Li, Joseph E. Gonzalez, Alex Dimakis

cs.AI, cs.CL

2026-11-05

Berkeley 提出 EnvOpt,用 research agent 自动改造智能体共享的环境:五个基准平均降本 48%,通过率持平或上升。

这篇在解决什么

一个 agent 跑得贵不贵、成不成,取决于模型参数、harness(把模型包装成 agent 的那层代码,含 prompt、工具、上下文管理)和环境。前两样各有自动优化路线:微调卷参数,GEPA、Meta-Harness 卷 harness。环境几乎总被当成常量,同一份 Slack 历史,放远端走 MCP 也好,导出成本地文件用 grep 查也好,信息一样,形态基本靠默认。此前已有实测,仅换一种工具接口就会明显改变 agent 的工作量。

这篇把被大量任务共享、内容基本不变的环境命名为「静态环境」(stationary environment):银行 agent 反复查的同一批企业数据库、Slack 助手共用的 workspace、修 bug 始终对着的那一个代码仓库。SWE-agent 证明好接口能提升修 bug 成功率,但接口是人手写的;后续改造环境的工作服务于 RL 训练信号,不管部署后的执行成本。环境本身怎么组织,一直缺系统化的自动优化方法。

方法

EnvOpt 锁定目标 agent,模型和 harness 都不动,只改环境。环境记作 E(I):I 是底层信息(如 Slack 里的全部对话),E 是表示形式(MCP 背后的官方 workspace,或存下全部对话的 Markdown 文件);I 固定时,找一个让目标 agent 更省钱的 E。跑法是多步进化循环:

全程无人工环节,训练时的精度判断靠 research agent 读轨迹自评,验证集才用真 verifier 把关。

结果

主力实验在 AutomationBench(约 47 个模拟 SaaS 应用的企业工作流任务),目标 agent 是 Claude Code + Haiku 4.5,research agent 是 Claude Code + Opus 4.8,200 个留出任务、3 次运行取平均:

Agent通过率(base→优化后)成本 USD(base→优化后)降本
Haiku 4.5(优化目标)2.33% → 16.67%42.36 → 11.5572.7%
GPT-5.6-luna19.17% → 24.67%17.42 → 1.9888.6%
Opus 533.83% → 35.17%236.18 → 75.2668.1%

给 Haiku 4.5 优化的环境换给其他模型照样有效:Haiku 5.5 用上后通过率 32.8%,高于原环境下 Opus 4.8 的 28.50%,接近 Opus 5 的 33.83%,成本只要 1.51 美元。同池对比中,EnvOpt 以 Meta-Harness 15% 的成本拿到高 9.67 个百分点的通过率;叠加 Meta-Harness 优化过的 harness 后,成本再降 83.4%,精度再加 11.17%。

其余四个基准:Workspace-Bench 降本 47.65%、通过率升 3.3 个百分点;Data-Eng-Bench 降本 53.44%、通过率 50.68% 升到 53.88%;Bleve 仓库修 bug 用 GSKILL 56.9% 的完成时间拿到 97.7% 通过率;Tenacity 仓库比 ADVISOR MODELS 高 8.9 个百分点,步数更少。五基准合计,留出任务平均降本 48%,通过率持平或上升。

省的几乎全在输入侧:AutomationBench 每任务输入 token 从 171,641 降到 41,466(降 76%),Data-Eng-Bench 从 1,779,686 降到 496,610(降 72%),大头是工具返回结果;输出侧只降约 20%。环境优化省的是「找信息」,不是「做事」。训练开销方面,AutomationBench 全程 150.10 美元、6.6 小时,其余基准 33 到 339 美元;Opus 4.8 单任务成本从 1.73 降到 0.39 美元,109 个查询回本,按 1000 个任务计省下约 10 倍训练成本。消融里只保留新工具时,Haiku 4.5 通过率 6.33%、成本 15.75 美元,明显弱于完整版:工具改造接近 harness 工程的覆盖范围,环境重组才是额外空间。

为什么重要

对在共享环境上规模化跑 agent 的团队,这是模型选型和 harness 调优之外第一个可自动化的成本杠杆:一次 150 美元量级的离线优化,查询量大的场景百次左右回本,同一个环境还能跨模型、跨 harness 复用,不必每个模型重做一遍。

训练不需要 verifier 是实用关键。真实企业里带答案的高质量任务很稀缺,EnvOpt 只要求能造出同分布的查询,拿自家工单库或 Slack 数据试用的门槛低了不少。

被接受和被拒绝的优化案例单独看也有价值:建表目录、写端点 cheatsheet、把 .xlsx 转纯文本、按 bug 报告排序可疑文件,今天就能手工做;把所有信息塞进一个大文件、搜索工具返回过多结果、写只适配部分任务的检查,这三类被验证适得其反。

性质上这是效率改进,不是能力突破:多出来的通过率来自信息更容易够到,对部署方同样计入收益。

局限与存疑

论文自己承认的失败模式不少。训练没有 verifier,research agent 只能拿答案长度、关键词匹配这类代理自评,Workspace-Bench 上这确实伤到留出任务的表现,作者靠改指令压制。research agent 不总守规矩,Workspace-Bench 第 6 步它试图改 Codex 的 reasoning effort,明令禁止也照做。早期缺陷还会长期潜伏:Data-Eng-Bench 第 1 步引入的 SQL 分号切分器处理不好引号内的分号,第 5 步才暴露,前四步一直多烧 token,因为目标 agent 把坏掉的查询归因于自己。

读下来另有几处存疑。规模偏小:Workspace-Bench 80 个测试任务、Data-Eng-Bench 73 个,两者训练任务全部由模型合成,合成与真实查询的分布差距没有验证;前者通过率由 LLM judge 评定,自带噪声;迁移结果均为 3 次运行平均,方差未报。更根本的是「静态」假设:环境高度相似时可写程序自动转换,论文只在附录一笔带过,持续变化的环境多久要重新优化,没有实验。部分节省还来自把检索前移成任务开始前的预取代码,这要求环境事先可完整读取,权限受限或有状态的环境未必适用。

术语

原文与代码

社区讨论

相关论文

全部论文解读