Beyond Simply Environment Scaling: Designing Effective Environment Distributions for Multimodal Agent Learning
Kejian Zhu, Zhuoran Jin, Dongqi Huang, Hongbang Yuan, Yupu Hao, Kang Liu, Jun Zhao
cs.CV
2026-08-04
堆量式环境训练反而让多模态 agent 掉点;按能力覆盖与梯度冲突精选 30 个环境,再配分层难度课程,相对原模型平均增益 143.2%。
训练 GUI、视觉这类多模态 agent 时,业界流行做法是堆一个尽可能大的多模态环境池,默认环境越多、能力越全。作者用一组对照实验戳破了这点:在 Qwen3-VL-4B 上把环境从少加到多,性能随环境数增加来回波动,并非单调上升。混合训练时,多模态成绩掉 10.7%,而纯文本符号环境只掉 1.3%。多模态任务对环境配比远更敏感,堆错环境比没环境更糟。
问题被定位到两个维度:环境之间能力重不重叠(多样性),以及难度排不排得开(难度结构)。作者把这两件事分别拆成可量化的指标,再分别给方案。
两套机制,一个管选、一个管练。
选环境用的是 AES(Ability-aware Environment Selection)。先给每个环境画像:跑 40 条 agent 轨迹(一半 Qwen3-VL-4B、一半 Gemini-3-Flash),用 GPT-5 把轨迹切成原子能力,统计哪些能力被触发、迁移概率多大,200 个环境最后归纳出 72 个核心能力(meta-ability)。选环境的打分同时看三件事:新覆盖了多少还没被选中的能力(NewCoverage)、和已选环境重复多少(Redundancy)、以及梯度方向上会不会打架(Conflict,用各环境梯度的负余弦相似度衡量)。打分公式是覆盖加分、冗余和冲突扣分,最后从 200 里挑 30 个,能力全覆盖。
冲突这一项是整篇的关键。多模态环境的梯度相似度比纯文本环境更两极分化,经常出现强负相关,优化方向直接对冲。消融实验里把冲突项去掉,相对增益从 40.3% 掉到 2.8%,基本白练。
训练用的是 HDC(Hierarchical Difficulty Curriculum),分两层嵌套。外层是「harness weakening」:harness 指训练时给 agent 的辅助文本(文字观测、文字状态、文字提示、规则说明),从全开到全关分 H0 到 H4 五档,逐步抽掉,逼模型回到裸视觉观测;抽得太猛会崩,所以前面几档用指数衰减采样做过渡。内层是「state-scale progression」,控制单个环境实例的复杂度(比如网格大小),用滑动窗口随模型能力提升逐步拉大。两层配合:在某个 harness 档位内先把 state-scale 顶上去,能力够了再削 harness、scale 重来。
基线是 Qwen3-VL-4B / 8B-Instruct 原模型、全 200 环境、随机选 30 个。ST 是单轮、MT 是多轮,ID 是训练用环境、OOD 是未见环境。
| 模型 | ST(ID) | MT(ID) |
| 4B 原模型 | 13.1 | 11.9 |
| 4B + AES+HDC | 45.0 | 36.2 |
| 8B 原模型 | 17.6 | 14.8 |
| 8B + AES+HDC | 49.9 | 40.1 |
综合各设置,AES+HDC 相对原模型平均增益 143.2%。和「全 200 环境」(相对增益 43.4%)、「随机 30」(44.6%)比,精选 30 个反而更好,而且泛化到未见环境也成立,只是 OOD 上的绝对提升比 ID 小得多。HDC 单独也能把随机选的 30 个环境从 44.6% 拉到 73.7%。
消融说明每个部件都扛事:冲突项去掉增益只剩 2.8%;harness 单独 18.1%、scale 单独 11.5%、两者合起来 27.7%。
对做 agent 训练的人,这篇给了一个反直觉但实用的结论:与其无脑扩环境池,不如先搞清楚环境之间在能力上重不重叠、在梯度上打不打架。筛 30 个比堆 200 个省算力还更好,对算力受限的团队尤其划算。HDC 的 harness weakening 也给出一个可复用的训练 schedule,先用文本辅助让模型学会动作,再逐步撤掉逼它看图,和人类学复杂任务时脚手架逐步撤掉的逻辑一致。
它也是渐进式的方法论改进,不是新范式:meta-ability 画像依赖 GPT-5 标注,梯度冲突项需要离线算每个环境的梯度,选环境阶段有额外开销。
作者自己列了几条:环境池是基于现有工作搭的,没研究大规模合成环境;算力所限没在全量 200 环境上跑满预算;AES 用梯度信息带来额外离线计算;更高效的冲突估计方法没深入。
读下来更该追问的:增益是相对原模型算的百分比,而原模型在这些 agent benchmark 上起分很低(4B 只有十几分),相对增益放大了绝对值;OOD 上绝对提升只有几个点,泛化能力没有 ID 数字看着那么戏剧化。另外 72 个核心能力由 GPT-5 切分,切分质量直接决定覆盖指标是否可信,这部分论文没做严格的人工校验。