From Repositories to Training Environments: Scaling Long-Horizon Coding Agents with Environment Evolution Loop
Yang Tian, Tianyu Zheng, Xiyuan Yang, Yaxin Du, Chengran Yang, Bo Zhao, Jian Yang, Bryan Dai
cs.CL
2026-11-16
把真实仓库转成一万个整仓重建训练环境,用免 rollout 的静态代码指标做环境进化,Qwen 35B 训后 NL2Repo 涨 22.6 分。
训练长程 coding agent,瓶颈常常不在算法,在没有合适的环境:任务要可验证、要够长、还得真有训练价值。现有做法卡在两处。一类是线性流水线(DeNovoSWE、MindForge),仓库修完文档和构建再验证,不过就整个丢掉,扩规模只能靠找更多「天生合格」的仓库。另一类拿模型表现当反馈来改任务(BenchEvolver、SETA、DataMaster),每个候选都要先让模型真跑一遍甚至训一轮;长程任务单次 rollout 就是大工程,反馈又贵又慢。于是问题变成:能不能用便宜、及时的信号,既修好不合格的仓库,又让任务本身更有训练价值?
RepoFactory 把真实仓库变成环境 (I, W, V, O):语言规格、隔离工作区、验证器、oracle 参考实现。任务是「整仓重建」:agent 只拿规格和一个装好依赖的空工作区(断网),从零写出整个项目,由原仓库的测试打分。
构造分四步。筛选:非 fork、未归档、≥10 star、≥5 个实现文件、<4 万行 Python、能离线跑,已进主流 benchmark 的仓库排除在外。运行时:为每个仓库建 Docker 镜像,所有测试在无网容器里全过才保留。分析:只读 AST 扫描,提取公共 API 和测试 import 的符号。合成:生成任务规格加 API manifest,并核对规格覆盖了测试用到的全部符号,接口名对不上,功能写对了也过不了测试。
核心是环境进化循环,优化乘积目标 Q = A · C · S:
循环最多 12 轮:先保 A,再对照阈值(S ≥ 0.5、C ≥ 0.01)补短板,达标后任选一项继续推;每轮修订重新验证有效性,目标分数没涨就回滚到上一版。反馈只来自验证器执行和静态代码分析,不需要求解模型 rollout,也不需要下游训练。构造 agent 全部用 Qwen3.8-Max。
10,159 个环境覆盖 17 个软件领域,最大领域只占 12.5%。中位 oracle 4.2k 行代码、26 个源文件,验证器合计约 209 万条测试定义。SFT 数据由 Qwen3.8-Max 每环境跑 5 次、滤掉低分轨迹得到:10,947 条轨迹、覆盖 5,577 个环境,中位 64 个 assistant 轮次。
主结果(统一 Claude Code harness):
| 模型 | NL2Repo | SWE-bench Verified | 五项平均 |
| Qwen3.5-35B-A3B(基座) | 23.8 | 65.8 | 45.1 |
| RepoHorizen(无环境进化) | 41.3 | 70.9 | 51.5 |
| RepoHorizen-35B-A3B | 46.4 | 72.2 | 53.5 |
| GPT-5.5 | 45.1 | 82.6 | 67.6 |
NL2Repo 46.4 超过 GPT-5.5(45.1)、Gemini-3.1 Pro(33.4)、DeepSeek-V4-Pro(38.5)和 MiniMax-M3(42.1),是列出的 200B 以下开源模型里的最高分;离 Claude Opus 5(75.3)和 GPT-5.6-sol(56.8)仍有距离。其余四个 benchmark 涨 1.3 到 6.8 分,环境进化本身贡献 NL2Repo +5.1、平均 +2.1。
两个对照更能说明问题。数据源对照:同一基座、同一 harness、每家约 1.1 万条轨迹,RepoFactory 训出 46.4,六个开源 SWE 数据源里最强的 OpenSWE 只有 25.2,五项全部领先。环境数从 0 加到 5,577,分数持续上升到 46.4 且无饱和迹象,3,000 之后更陡,最后 2,577 个环境把 36.5 推到 46.4。9B、27B、35B-A3B 三个尺寸分别涨 12.2、14.1、22.6 分。
机制验证:500 个采样仓库的可用量从 33.8% 提到 69.4%(169 → 347),大头来自第一次修复;teacher 成功率按 S 分五组,从最小组的 23.0% 降到最大组的 13.4%,支持它当难度代理;各用 2,000 条轨迹微调,优化 S 让 NL2Repo 从 30.2% 升到 32.9%,优化 C 到 32.5%,中间有波动。
对做 agent 训练数据的团队,最有迁移价值的一点是:环境合成可以不靠昂贵的 rollout 反馈,几个静态代码指标乘起来就够当进化信号;产出率翻倍意味着同一个仓库池能榨出两倍任务。整仓重建也补了任务形态的空白:SWE-bench 一系都在测「在已有仓库里修 issue」,从零建一个多文件互相咬合的项目,此前缺少可验证的规模化环境。诚实地说,筛选、容器化、规格合成、进化循环每个单项都是已知工程,新的地方在乘积目标与闭环,属于扎实的组合式改进。
论文自述:只覆盖 Python;代理指标只看粗粒度结构,区分不了任务考查的具体能力。
另有几处要留意。最大涨幅出现在 NL2Repo-Bench,而训练任务正是按语言规格整仓重建,评测与训练同分布,22.6 分里有相当的域内成分,迁移到 SWE-bench 系只剩 1.3 到 6.8 分。10,159 个环境只有 5,577 个产出训练样本,teacher 解不动的环境被静默丢掉,最难的任务没进训练集。S、C 的消融增益都不足 3 分,C 的曲线中间波动,代理指标与训练价值之间的因果证据不算硬。训练只做了 SFT,可验证环境配 RL 的另一半价值没有实验支撑。Table 2 还混排了各家自报数字与统一 harness 的自测数字,引用时要分清。