EAU: Environment-Agent-User Co-evolution for Training User-Centric Agents
Min Cai, Dan Zhang, Gao Xing, Libin Ma, Zhaohui Xu, Xi Ye
cs.AI, cs.CL, cs.LG
2026-10-12
EAU 让 Claude Code 在 RL 训练中在线热更新用户模拟器、奖励与超参,总分比最强基线高约 15%,ColBench 成功率涨 36.7%。
训练会和用户多轮交互的 LLM agent,奖励信号由三样东西共同决定:policy、LLM 用户模拟器、环境。模拟器是随机的,会跑偏人设、提前泄题、相似对话里意图前后不一;环境里则藏着静默失败的 tool 和会错杀好轨迹的 verifier。此前主流做法在下游补救,用 reward shaping 给部分进展记分,或加更密的辅助监督,但信号源头没动过:verifier 错杀好轨迹、模拟用户把本该 agent 追问出来的信息直接说出口,下游怎么改奖励都救不回来。而且 policy 在进步,固定的模拟器和环境还在批量生产冗余轨迹。EAU 把干预移到上游:训练进行中持续诊断并修改交互过程本身。
EAU 是一个 meta-agent,用编码智能体实现(默认 Claude Code + Claude Opus-5,也测了 Codex),能读写源码、训练日志和轨迹,按固定间隔检查,判断问题出在 policy、模拟器、环境还是训练配置,再通过一组预先暴露的「旋钮」动手:
三个基准(UserGym、ColBench、τ²-bench)× 两个底座(Qwen3-4B、Qwen2.5-7B-Instruct):
| 设置 | 最强基线 | EAU | 提升 |
| UserGym+ColBench 总分,Qwen3-4B | 0.545(InfoPO) | 0.627 | +15.0% |
| 同上,Qwen2.5-7B-Instruct | 0.544(InfoPO) | 0.615 | +14.7% |
| ColBench 任务成功率,Qwen3-4B | 0.439(InfoPO) | 0.600 | +36.7% |
| UserGym 均分,Qwen3-4B | 0.559(InfoPO) | 0.622 | +11.3% |
| τ²-bench 均分,Qwen3-4B | 18.5(PPO) | 21.5 | +16.2% |
4B 底座 0.627 的总分同时高过受测闭源模型 Gemini-3-Flash(0.606)和 GPT-4.1(0.568),训练时 held-out 的 Inten. 环境也拿到 2.023(InfoPO 1.862)。消融三件事站得住:混合模拟器略优于纯 LLM,纯 symbolic 反而更差(ColBench Pass 0.294 / 0.284 / 0.229);去掉 symbolic user 和 intra-run skill 的通用 meta-agent 结果不稳,Qwen2.5 的 UserGym 从 0.568 掉到 0.512;EAU 叠在 UserRL(13.8→20.8)和 InfoPO(18.0→21.0)上照样涨,收益不绑定 PPO。附录的干预日志最有说服力:min questions 计数器漏掉「既提问又回答」的回合,41% 的 episode 因此死锁,修 bug 有效、继续调阈值却有害;facts per reply 从 1 调到 3,模拟用户一口气吐出 837 字符的参考答案,只能回滚。ColBench 上它主动重启了前三个 run,第五个 run 就超过此前 SOTA。
「用 LLM 优化 LLM 训练」此前多停留在调 prompt、调超参,这篇把训练系统本身变成在线可编辑的对象:模拟用户行为、奖励规则、环境约束,决策只依赖训练侧信号。对做 agent RL 的团队,这是「训练基础设施当代码维护」的可行证据;多轮加用户模拟器的场景里奖励不稳定是公认痛点,而 ColBench 那 36.7% 的成功率增益来自修计数器 bug、收紧披露规则这类可复述的操作。性质上也要看清:增益最大的 ColBench 是写代码,模型本来擅长,论文自己推测 EAU 更擅长激发既有能力,翻不过能力上限。
附录把 15 次旋钮写入、两次实测有害、三次撤回的归因全部列出,透明度少见。硬局限有五条: