更快的机器人世界动作模型
open-gigaai · hf · 2026-07-16
这篇工作讲的是 **World Action Model (WAM)** 在机器人策略学习里的改进。原始 WAM 会在推理时显式生成未来视频，虽然有助于学习动作，但推理开销很大，不利于实时闭环控制。 作者提出 **GigaWorld-Policy-0.5**，把训练和推理拆开： - **训练阶段**：结合 Action-Conditioned World Modeling 和 WAM 训练，让视觉动态与动作表示更紧密耦合 - **推理阶段**：只做动作解码，不再生成未来视频，从而降低开销 - 引入 **Mixture-of-Transformers**，把视觉动态建模和动作生成分成专门专家，提高推理效率 - 还用一个 **agent-based AutoResearch** 流程自动搜索训练配置，减少人工调参 作者报告该方法在本地 **RTX 4090** 上动作推理延迟可做到 **85ms**。实验和消融表明，它在保留未来视觉动态训练收益的同时，也提升了机器人控制的实时性。