更快的机器人世界动作模型
open-gigaai · hf · 2026-07-16
这篇工作讲的是 World Action Model (WAM) 在机器人策略学习里的改进。原始 WAM 会在推理时显式生成未来视频，虽然有助于学习动作，但推理开销很大，不利于实时闭环控制。
作者提出 GigaWorld-Policy-0.5，把训练和推理拆开：
- 训练阶段：结合 Action-Conditioned World Modeling 和 WAM 训练，让视觉动态与动作表示更紧密耦合
- 推理阶段：只做动作解码，不再生成未来视频，从而降低开销
- 引入 Mixture-of-Transformers，把视觉动态建模和动作生成分成专门专家，提高推理效率
- 还用一个 agent-based AutoResearch 流程自动搜索训练配置，减少人工调参
作者报告该方法在本地 RTX 4090 上动作推理延迟可做到 85ms。实验和消融表明，它在保留未来视觉动态训练收益的同时，也提升了机器人控制的实时性。
「具身」频道最新
- UC伯克利联合 NVIDIA 发布 AW-0:真实机器人操控成功率 71.1 分远超基线 — trevordarrell · 2026-10-27
- AW-0 机器人模型实测:RoboTwin 50 项任务成功率 80.8% 远超基线 — trevordarrell · 2026-10-27
- AW-0 用代码流改变世界模型预测:同一指令下精准选中目标物体 — trevordarrell · 2026-10-27
- AW-0 混合执行模式:视觉随机化下成功率从 20.6% 升至 29.2% — trevordarrell · 2026-10-27
- AW-0 发布:代码+视频+动作三专家联合生成的智能体世界动作模型 — trevordarrell · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27