Train An Imaginative Agent
Jiaxin Ge, Junyi Zhang, Tianning Chai, Hanjun Yoo, Chenyang Wang, Xiuyu Li, Weijia Shi, XuDong Wang, Sewon Min, Luke Zettlemoyer, Trevor Darrell, Haiwen Feng
cs.AI
2026-10-20
全模态模型先画出动作后果再执行，仅靠两箱推箱子监督微调，每五步看一次真棋盘时四箱成功率做到40%，不画中间帧的对照只有2%。
推箱子里，一脚合理的推动也可能把箱子顶死，整局无解。动作不可逆，环境在动手前不给后果。常规智能体执行后才看到下一帧，反馈一稀疏，死局就被走实。
I2A 用想象轨迹辅助策略，但选哪些动作去想象，仍是另一个 rollout 策略的事。Agima 要的是同一套参数完成三步：提出动作，生成后果画面，再根据画面决定执行什么。
底座是全模态模型 BAGEL，同一套权重既能读图文也能生成图文。总参数 14B、激活 7B，记作 A7B。它同时提出动作和生成下一帧。预测帧与真实观测接口相同，可以顶上缺失的反馈；执行之后，真实帧再锚定下一轮。
监督微调用教师强制训练交错序列，文本用交叉熵，图像用均方误差。局的分布不变。线性展开只跟一条计划，负责往前看。反事实分支在主线上试一个替代动作，画出即时后果，失败就拒绝，用来在局部排除死路。前瞻比较把几条完整计划滚完再选，用来在整段计划之间做选择。推箱子的坏分支来自求解器证明无解的推法，一局最多插三处；吃豆人比的是先吃近豆还是远豆。
GRPO（用一组采样轨迹的任务奖励算相对优势）再学何时使用这些写法。组大小 8，批大小 16。审议时看不到环境，只执行最终动作，奖励是任务成或不成。梯度只更新语言 token，图像停在监督微调的水平。两箱微调后接近饱和，于是在 8×8 普通三箱上训练 200 步，学习率 2e-6，没有新的专家轨迹。前瞻和分支的初始检查点约一半是线性展开、一半是对应推理轨迹。
训练用易配置，测试用没见过的难配置：迷宫大于训练时的 11×11，推箱子从 7×7 两箱到四箱，吃豆人从 9×9、8 颗豆子到 12×12、12 颗豆子且鬼更近，PushT 用更远的未见位姿，覆盖率大于 0.80 算成功。K 是两次真实观测之间执行的步数。对照 No Imagine 用同一底座和同一批数据，只预测动作块（一次吐出若干步、中间不看新画面），不生成中间帧。
K=5 的难划分：
| 环境 | No Imagine | Agima |
| 吃豆人 | 1% | 37% |
| 迷宫 | 23% | 40% |
| 四箱推箱子 | 2% | 40% |
| PushT 成功 | 1% | 18% |
| PushT 覆盖 | 6.7% | 28.5% |
这 40% 只来自两箱上的监督微调，真棋盘每五步才出现一次。K=1、每步都有真反馈时，同一模型的四箱、吃豆人、迷宫是 47%、84%、62%。K=10 时四箱掉到 15%，吃豆人掉到 7%。K=∞、中途完全不看环境，四箱剩 19%（No Imagine 为 0%，GPT-5.6 Sol 为 21%），迷宫剩 3%，Gemini 3.1 Pro 为 9%，GPT-5.6 Sol 为 36%。
K=5 把预测帧换成灰图或旧的真实帧，四箱从 40% 掉到 1% 或 0%，吃豆人从 37% 掉到 0%。换成真实下一帧，吃豆人 81%、迷宫 69%、PushT 47%，四箱只到 43%。四箱几乎不涨，另外三个环境的缺口跟着预测误差走。
同一批训练局、只改轨迹，评测为 K=∞。相对线性展开，分支把结构分叉的三箱从 34% 做到 39%、四箱从 22% 做到 32%。前瞻把死局两箱从 22% 做到 60%、三箱从 39% 做到 48%，四箱降到 24%。吃豆人要选吃豆顺序：8×8 四颗豆子从 22% 到 54%，10×10 八颗豆子从 5% 到 12%。只滚一条轨迹时会先吃近豆，折返时已经躲不开鬼。
强化学习只奖成败。No Imagine 的训练奖励升到约 15%，留出的死局集和分叉集仍接近 0。带想象的模型在强化学习没见过的四箱上继续涨。约 100 步后出现监督数据里没有的写法：先滚一条，预测失败才开下一条，三箱上两条都失败还会再开第三条。一旦出现第二候选，模型判定第一条失败的比例从约 32% 变为 100%；单独执行这条计划，实际失败率是 95.5% 到 100%。监督微调那种一开始就比两个候选的格式基本消失。平均分支从 1.70 增至 150 步时的 1.95，更常开在走错就会无解的状态，想象步数不增加。400 局汇总，前瞻成功率从 30.3% 到 41.0%，想象动作从 27.82 降到 22.18；分支从 30.0% 到 50.3%，想象动作从 23.62 降到 21.59。
换计划还是试别的动作，都写成同一条轨迹里的语言 token，不必外挂搜索。每五步一次真实反馈时，四箱上的差距就是 2% 和 40%。只看任务成不成，模型会把前瞻留到第一条计划看着要失败，想象步数同时下降。
证据停在小网格和二维推动上。每步都有反馈时，论文没有给同底座的不想象对照。
真实下一帧能把吃豆人抬到 81%、PushT 抬到 47%，图像生成在强化学习里却冻住，附录也没有状态级预测准确率。整局不看环境时，迷宫上 Agima 只剩 3%，GPT-5.6 Sol 有 36%。
新写法并不稳定加分。四箱死局上，前瞻比线性展开低 3 个点。两箱死局上 Gemini 3.1 Pro 为 74%，高于前瞻的 60%；箱子变多以后，分支模型的四箱死局 32% 才超过 Gemini 的 19%。吃豆人前瞻训练集里，两条候选都成功的占 96.4%，出现被吃掉的只占 3.6%，测试集却是先吃近豆就会死的陷阱。这些标签来自求解器证书。强化学习只跑了推箱子。
K=3 迷宫上，Qwen3-VL-8B 只做动作微调就有 85%，Agima 是 59%。纯导航里，边画边走可以输给直接出动作。表现最好的分支模型平均仍要想象 21.59 步，论文没有测时间和 FLOPs。