在同一状态下换目标排动作,EVOKE 未见环境成功率达 92%

EVOKE: Eliciting World Knowledge in Agents for Transferable Decision-Making

Yuhan Guo, Jinming Liu, Liang Xu, Ziqiang Li, Jianguo Huang, Zhicheng Wang, Hu Zhu, Qiuyu Chen, Yuntao Wei, Xin Jin, Wenjun Zeng

cs.CL

2026-09-30

固定状态、更换目标,对同一组动作做偏好排序:EVOKE 把 LLM 智能体未见任务成功率从 60.4% 提到 91.8%,监督量仅为演示数据的 9.1%。

这篇在解决什么

LLM agent 在训练环境里表现不错,换到没见过的环境就大幅掉分,学到的东西绑死在训练任务上。主流改进路线是世界模型:先训 agent 预测每个动作之后的环境观察,再拿预测做规划。代价有两个:预测目标让训练更贵,大部分要预测的内容与当前决策无关;预测误差在多步规划里还会逐步累积。

这篇的判断是知识其实已经在模型里。LLM agent 主要活动在网站、搜索引擎这类数字环境,动作后果(在任何购物网站下单都会结束购买)大多落在预训练语料的覆盖范围内,近期工作也实测过预训练模型只给几个例子就能预测文本环境的响应。问题于是从「学会预测」变成「把已有知识逼出来」。常规 post-training 逼不出来:每个访问过的状态只挂一个训练目标,policy 记住「这种上下文通常下一步做什么」就能拟合监督信号,这种上下文习惯在训练分布内够用,到新环境就失效。

方法

理论支点是 Richens 等人 2025 年的结论:在足够丰富的一组多步目标上都称职的 agent,内部必然含有一个可从其目标条件行为中恢复的世界模型。EVOKE 把这个存在性结论变成训练配方。前提是一条干净的分解(式 1):环境转移规律对所有目标一致,目标只改变「哪个后果有价值」;动作做什么跨目标共享,值多少随目标变。

训练循环四步,按 DAgger 方式迭代:

• 状态采集:policy 在训练环境 rollout,采样既取推进任务的状态,也取绕路、重复动作、走向失败的状态,让监督落在 policy 真会遇到的地方。
• 目标干预:锁定状态、可见历史、可用动作集,把目标换成替代目标。Qwen2.5-72B-Instruct 做标注器提议候选,每个候选连同样的成功条件在环境里实例化,兼容场景且尚未满足的才保留。
• 动作评估:候选动作从同一状态真实执行,一步看不出效果就补一小段交互;标注器依据执行后观察到的后果把动作标成推进目标(positive)或更差(competitor),证据不足的丢弃。标注器只判观察结果,不做预测。
• 对比排序:listwise 项加 0.25 倍 pairwise 项构成损失,动作分数取补全文本的平均 token log-prob。competitor 按优先级填入:policy 的 greedy 动作若非 positive 排第一,其次是 policy 给高概率但被判更错的动作。手里拿着脏杯子、目标是放干净杯子上桌时,把脏杯子直接放桌上就是典型 hard negative。

设计逻辑:同一上下文在不同目标下最优动作不同时,任何只看上下文的习惯映射都无法同时排对;要排对,只能把「这个动作会导致什么」与「当前目标需要什么」挂上钩,这就逼 policy 调用预训练里的后果知识。训练只更新 LoRA(rank 16),backbone 冻结;部署时是普通 policy,没有世界模型模块、没有推理时规划、没有标注器。

结果

三个 backbone(Qwen2.5-3B/7B-Instruct、Qwen3-1.7B)× 三类任务(ALFWorld 文本家务、WebShop 网页购物、七个搜索问答数据集),平均分全部第一,包括 7B 上全部 world-model 与 dynamics 基线;ALFWorld unseen 同样最佳,差距在多步交互任务和最小的 1.7B 上最大,搜索问答上基线更接近但每个 backbone 仍领先。

主消融(Qwen2.5-3B,ALFWorld,%):

• 目标干预占大头:去掉它 unseen 掉 9 个点、平均多花 40.7% 动作;固定监督预算、把一半上下文换成替代目标,unseen 84.5 对 78.8(95% CI [1.3, 9.5])。
• 排序优于模仿:拿到完全相同目标上下文、正样本和更新次数的 Positive SFT,seen 几乎持平,unseen 落后 7.5 个点。15 组配对训练 EVOKE 全胜;用 60% 标注状态的 EVOKE(unseen 87.6)超过用全量数据的 SFT(84.8)。
• 负样本要选 policy 爱犯的:换成随机有效动作,unseen 从 91.8 掉到 74.6;换成 policy 最不可能的动作,掉到 67.2。
• 数据效率:两轮共监督 1,482 个决策,仅为初始化演示步数(16,247)的 9.1%,unseen 从 60.4 升到 91.8;三个 backbone 两轮合计提升 20.1 到 31.3 个点,每轮都有增量。
• 知识本来就在:线性探针从动作执行前的隐状态解码五个后果(持物、入容器、热、净、凉),连没碰过 ALFWorld 的原始 Qwen2.5-3B 都近乎完美;动作文本相同而后果不同时,动作文本探针接近随机,模型表征仍高于 97.0%(随机权重对照 65.0 到 68.0%)。可 πboot 的表征同样可解码,unseen 成功率只有 60.4%。知识在,用不用是另一回事。
• 行为确实变了:812 个「同一状态、两个目标、动作集相同」的测试对里,πboot 只解 19.5%,错误过半是习惯性的(选了另一个目标的正确动作);EVOKE 习惯性错误率 6.4%,比 Positive SFT 低 4.3 个点(CI [3.0, 5.6])。20 步内解掉 91.0% 的 unseen 游戏(其他训练变体至多 80.6%),每游戏少用 24.4 到 28.9% 动作,无效动作不到 Positive SFT 的一半;五个变体都能解的 70 个游戏上,EVOKE 步数仍最少。

为什么重要

不加预测目标、不训额外模块、部署零开销,是比世界模型便宜得多的 agent post-training 路线。数据构造只要一个可重置环境加一个大模型标注器,「执行候选动作、标注观察到的后果」比人工标正确动作更容易自动化。两个设计可以单独搬走:目标多样性对抗上下文习惯;用 policy 自己偏爱、实际错误的动作做负样本。凡环境可模拟、目标能实例化成功条件的场景(网页、搜索、工具调用)都能套。

成色分两档:ALFWorld 3B 上 unseen 提升 31 个点、步数砍半,是大提升;搜索问答基线本就挤在一起,提升属确认性质。它证明的是「排序加目标干预」这组监督设计的价值,没有解决 agent 泛化问题。

局限与存疑

• 标签质量的上限就是 72B 标注器的上限,论文没有量化标注错误率。
• 每个状态的每个候选动作都要真实执行并重置,目标干预再把状态-目标组合成倍放大,数据构造成本没有给出账单。
• 依赖环境可重置、替代目标能实例化成功条件;真实网站这类不可回滚环境不能直接套用。
• 完整 world-model 基线组只在 7B 主表出现,3B 只有 PaW 两个组合,1.7B 一个没有,「优于世界模型方法」的对照覆盖不全。
• 物理环境被论文自己划在范围外,接触与运动这类动力学绕不开 grounding;同理,预训练没覆盖的私有系统、新工具上这招无效,后者没有实验。
• 迭代只跑两轮,更多轮是否饱和没有数据。

术语

• world model:预测环境如何响应动作的模型,用于行动前推演后果;本文用决策监督替代预测训练。
• DAgger:数据集聚合的模仿学习框架,每轮用当前 policy 采新状态、补标注,滚动合并训练集。
• hard negative:对模型有吸引力但实际错误的候选;把它压到正样本之下是对比学习最有效的用法。
• linear probe:冻结模型,只在其隐状态上训线性分类器,检验某类信息是否已被表征。
• ALFWorld:文本交互式家务任务基准,分 seen/unseen 两组游戏。

原文与代码

• arXiv 2609.38334v1
• PDF
• Hugging Face
• GitHub · https://github.com/Gnonymous/EVOKE

相关论文

• 开源 320B MoE 押注 CLI agent:CyberGym 84.5 压过 GPT-5.6 Sol
• 250年书库：四模型有三个，换词后五到七成仇恨判定翻盘
• DFM块级少查32倍,Mistral六问答超基线12.71%
• 公开智能体平台改写11项数学纪录,11维接吻数下界从593升至604
• 62文化6191道谜题：最强79.4%，最难社群不过22%
• 16 个 AI 研究员组队搜索架构,1.3B 规模全面胜过 GDN2

全部论文解读