From Traces to Agentic Worlds: Agentic Language World Models for Interactive Environment Simulation
Quanyu Long, Xiao Chen, Jianda Chen, Haozhen Zhang, Qisheng Hu, Jianzhu Bao, Wenya Wang
cs.CL
2026-10-05
Trace2Env 不更新模型参数，只把历史轨迹收成世界书，让世界模型 agent 充当环境，在 gpt-5.6-sol 上七环境平均 75.94、比直接提示高 6.43，ALFWorld 回放成功率从 3% 升到 85%。
训练和评测 LLM agent，需要环境回应动作，并把后果留到后面的轮次。终端、软件工作区和企业系统经常缺源码或基础设施；历史交互痕迹通常还在，里面有动作、观察和失败。
语言世界模型（LWM）用提示预测下一条观察。删掉 report.txt 当时可以没有有效输出，之后再读取却应报缺失。仿真器必须在删除发生时记下状态，单靠摊开的历史做不到。
Terminal-Universe 从轨迹重建可执行终端，复杂环境仍缺轨迹里没有的实现和依赖。Trace2Env 只收回行为规格，让世界模型 agent 在仿真时充当环境。
离线阶段用 gpt-5.6-sol 把构建轨迹收成世界书，建完冻结。终端用 20 条 Terminal-Bench 轨迹，网页用 50 条 WebArena 轨迹。Android 和 SWE 拿不到原环境，按任务做五折交叉拟合，评测只用折外的书。
世界书分四层。Schema 规定动作和状态。落地证据保留原始观察和示范。归纳层写入重复出现的效应、约束和观察契约。Provenance 指回出处。归因含糊的效应不入库。规则要经成功与失败的对照和反例审查，过审才可执行。
在线材料分三块。世界书只读，描述环境如何行为。本局状态记录当前事实，缺项视为未知，不视为没有。情节记忆保留动作与观察原文。新的一局不继承轨迹里的具体文件。
世界模型 agent 检索后，用适用性门把条目标成 supporting、uncertain 或 format-only，再提交状态效应和拟议观察。Harness 在状态副本上校验，通过才提交。被拒则丢掉效应、留下观察。参数不更新。
单步覆盖 Terminal、SWE、Android、Web，以及 Food、Shopping、Benefits。gpt-5.2 按格式、事实性、一致性、真实感、质量打 1 到 5 分，缩放到 0 到 100 后平均。多轮用 ALFWorld 的 100 个任务和 SciWorld 的 40 个任务。仿真里产生的动作回放到真实环境，成功率记为 W2R，CR 等于 W2R 除以真实成功率。
对照有直接提示、五条原始轮次检索、世界书静态提示，以及只留运行循环。世界书均由 gpt-5.6-sol 建一次，两个骨干共用。
| 方法 | GPT 七环境平均 | DeepSeek 七环境平均 | ALFWorld 回放 | SciWorld 回放 |
| 直接提示 | 69.51 | 68.71 | 3%（CR 0.032） | 45%（CR 0.529） |
| 原始轨迹检索 | 73.76 | 73.06 | 论文未测 | 论文未测 |
| 世界书静态提示 | 74.35 | 74.86 | 论文未测 | 论文未测 |
| 只留运行循环 | 70.79 | 70.35 | 论文未测 | 论文未测 |
| Trace2Env | 75.94 | 75.75 | 85%（CR 0.914） | 60%（CR 0.706） |
相对直接提示，平均高 6.43（GPT）和 7.04（DeepSeek）。14 组里 11 组最高，且没有一组低于直接提示。事实性、一致性、真实感和质量在 14 组全部上升。格式仅在 GPT 的 Android 与 DeepSeek 的 Web 上略降。四个 AgentWorldBench 环境上，轨迹聚类后的增益区间都不含 0。
绝对分并不整齐。GPT 上 Terminal 从 55.76 到 65.42，事实性从 41.7 到 50.5。Web 从 54.23 到 59.55，事实性仍是 43.6。Benefits 从 88.89 到 98.11。GPT 的 Shopping 上原始检索 86.07，高于 Trace2Env 的 85.36。DeepSeek 的 Terminal 上静态世界书 65.24，高于 Trace2Env 的 64.12。
直接提示在仿真里是 97% 和 92.5%，回放只有 3% 和 45%。Trace2Env 仿真里是 88% 和 87.5%，回放为 85% 和 60%。两套的真实成功率都是 93% 与 85%。不支持的 put 被直接提示写成成功，假状态一路自洽，回放失败。Trace2Env 保持空操作和原库存，帮助文本给出合法的 move，回放得以完成。
Terminal 消融有 354 条。该表里完整系统是 64.89，主表同一环境是 65.42。仅 schema 为 62.05，加抽象降到 60.69，加证据升到 64.18（配对差 +2.45±0.89）。有证据后再加抽象只 +0.69±0.63，有抽象后再加证据则 +4.26±1.02。去掉自适应查阅降 1.79±0.91，去掉状态跟踪降 0.97±0.78。
20 条轨迹为 64.89，36 条为 66.42，曲线仍向上，主实验用 20 条。Terminal 满配约 5 次调用、标价 0.187 美元。去掉自适应循环，大约留住相对直接提示 80% 的增益，推理成本约为满配的 29%。
未见构建任务时增益还在，幅度看骨干。Terminal 的 312 条相对只留运行循环，GPT 高 3.69，区间从 1.71 到 5.63；DeepSeek 高 0.61，区间跨过 0。Web 的 151 条相对同一基线，GPT 高 4.21，DeepSeek 高 5.00，两边区间都不含 0。SWE 的 378 条相对直接提示，GPT 高 5.09，DeepSeek 高 6.60，区间同样不含 0。
原系统不可用、日志还在时，行为规格比逆向可执行沙箱容易落地。建书和运行可以换模型：gpt-5.6-sol 建的书交给 deepseek-v4.1-flash，七环境平均 75.75，接近建书模型自己的 75.94。评测要看回放。仿真内成功会偏向能维持假状态的提示式模型。
单步改进不大。GPT 平均只比静态世界书高 1.59，比五条原始检索高 2.18。多轮连续状态，以及仿真时不再向原环境要反馈，这两点和检索式 LWM 不同。WorldEvolver 仍依赖原环境的后续结果来改规则。用这类仿真训练任务 agent，还没有实验。
保真度停在痕迹里出现过的行为。结论承认这一点，并写明有的骨干不会稳定使用重建证据。Terminal 未见任务上，DeepSeek 相对运行循环的区间含 0。Shopping 只有 3 条成功轨迹、55 轮。Food、Benefits 和两个文字游戏的建库数据也偏成功路径。Android 里，应用若未出现在其他折，127 条上 GPT 相对直接提示下降 0.59，论文没给区间。
多轮只测了 ALFWorld 和 SciWorld。Terminal、Web、SWE、Android 停在单步。SciWorld 回放 60% 对真实 85%，CR 仍是 0.706。置信度至少 0.9 且带模板的规则捷径，报告过的世界书里没有触发。校验被拒时，拟议观察仍可能写进记忆。打分来自 gpt-5.2，不是和真实观察逐字比对，也没有对照训练式 LWM。