Agent-Editing World Model: Rethinking World Modeling for LLM Agents
Shuang Sun, Guoxin Chen, Fanzhe Meng, Jia Deng, Huatong Song, Jinhao Jiang, Wayne Xin Zhao, Hongteng Xu, Ji-Rong Wen
cs.CL, cs.AI, cs.LG
2026-09-24
AEWM把世界模型从预测工具回包改成判断并改写当前推理-动作；Action Judge macro-F1 70.5，EditAct在三个骨干上平均再高3.2到6.7点。
给 LLM Agent 配语言世界模型，常见做法是预测下一步工具回包：搜索结果、终端输出、测试日志。这些观察熵很高、依赖真实执行，预测又难又容易编造证据。与此同时，长程 Agent 有一种更致命的失败：任务状态污染。没被证据支撑的假设写进历史，过时计划不更新，局部进展被当成做完，后面每一步都在错的心理模型上做「合理」动作。
人大高瓴的 AEWM 换预测对象：不问环境下一刻长什么样，问当前这条推理-动作对未来任务进度是关键、探索，还是噪声。噪声就在同一段观察历史上改写推理和动作，再拿到真环境里执行。
执行前状态是 \(st = ht \oplus (\hat rt, \hat at)\)：任务加历史，拼上 Agent 刚提出的推理和动作。Action Judge 输出三类标签。Critical 是补上关键缺口或做必要状态改变；Exploratory 是降不确定、探一个说得通的分支；Noisy 是重复、跑题、违规或走错方向。只有 Noisy 才触发 State Revision，生成新的 \((\tilde rt, \tilde at)\)，改的是下一步动作，也改写会进入历史的那句推理。EditAct 把判断、改写和真执行接成环：保留关键和探索，改写噪声，观察一律来自真工具。
训练跨 Search、Terminal、SWE。标注 Agent 在成功轨迹上做回合级标签，监督是前瞻的：输入只有当时可见历史和提议，标签来自事后整条轨迹。State Revision 样本更严：提议被判噪声后，改写动作必须在后续真执行里带来实质进展才留下。两阶段训练：约 52B token 的 mid-training 混原始轨迹和合成判断/改写，再 SFT 12 万条（判断和改写各 6 万，三域均分）。骨干是 Qwen3.5-35B-A3B。
AEWM-RFT 把 EditAct 验证过的轨迹做拒绝采样微调，推理时不再调用 AEWM，把改写模式内化进 Agent。
Action Judge 基准 3000 条决策、三域均分。AEWM 总体 macro-F1 70.5，最强对照 DeepSeek-V4-Pro 是 59.9，高 10.6 点。分域 60.9 / 72.1 / 77.8（Search / Terminal / SWE），各域都高出最强基线 10 点以上，Search 仍最难。
EditAct 在六个基准、三个骨干上全面超过 ReAct 以及步级和轨迹级 Best@3（Best@3 用 DeepSeek-V4-Pro 当选择器）：
| 骨干 | ReAct | 最强 Best@3 | EditAct |
| Qwen3.5-4B | 28.5 | 35.1 | 41.8 |
| Qwen3.5-9B | 34.5 | 38.9 | 44.1 |
| Qwen3.5-35B-A3B | 42.2 | 45.6 | 48.8 |
相对最强基线平均高 6.7 / 5.2 / 3.2 点。4B 的 BrowseComp 从 31.5 到 41.2，Terminal-Bench 2.0 从 17.6 到 37.1。9B 加 EditAct 的平均 44.1 已经超过 35B-A3B 的裸 ReAct 42.2。分布外的 DeepSearchQA 和 SWE-Bench Pro 同样上涨。
AEWM-RFT 相对 Self-RFT：BrowseComp 45.4 对 43.2，Terminal-Bench 2.0 43.4 对 40.8，Doc2Repo 48.6 对 46.1，前两个基准平均轮数还下降 30.0% 和 16.7%。消融里，随机按噪声率门控、让 Agent 重采样、只给提示、只改推理或只改动作，以及用自身或 DeepSeek-V4-Pro 当世界模型，全部低于完整 EditAct。Mid-training 加 SFT 互补，缺一段在 Terminal 和 Doc2Repo 上掉得更明显。
标注语料里 Search 有 60.0% 噪声动作，Terminal 探索占 43.2%，SWE 关键动作 42.1%。线上预测保持同一趋势。
语言世界模型的预测目标被改写了。工具回包既然能真打，就不必再模拟；该模拟的是 Agent 自己会不会把任务状态弄脏。EditAct 不是多采几条再挑，是在执行前换掉当前这一步的心理模型。对正在堆搜索/终端/仓库 Agent 的人，这是一条能接到 ReAct 环上的中间件，RFT 之后还可以卸掉。增益随骨干变大而变小，更像在补小模型的状态维护，不是无界的新能力。
判断标签来自成功轨迹的事后标注，失败轨迹里的噪声形态未必同分布。Search 仍是弱项，F1 只有 60.9，该域噪声率 60%，干预本身很密，误伤探索的风险更高。换到更强的 Qwen3.5-Plus，BrowseComp 从 44.1 升到 52.7，Terminal 和 SWE 几乎不动，论文归因为 AEWM 和更强 Agent 的能力差。没有报告 EditAct 的额外延迟和 token。Mid-training 52B token 不便宜。世界模型改的是当前续写，不建模环境动力学，换一套没见过的工具协议，判断器可能失效。