UC伯克利联手NVIDIA发布AW-0世界动作模型

UC伯克利、NVIDIA与宾夕法尼亚大学合作发布AW-0（Agentic World Action Model），称其为首个「世界动作模型」：在同一个生成式模型中同时完成三件事——生成显式代码做规划（技能调用、对象参数与控制流）、生成未来视频预测视觉动态、生成连续电机控制信号驱动机器人，三者通过联合去噪一起生成，语义规划可直接塑造未来预测与动作。

已确认

• 架构上模型由三个专家组成：Code（视觉接地的技能程序）、Video（未来视觉动态预测）、Action（连续机器人运动控制）；代码流在同一次生成过程中提供持续规划上下文，无需单独的自回归代码生成阶段。
• 效率：单张RTX 5090上AW-0联合推理耗时230ms，比自回归代码生成方式快2.4倍。
• 训练配方：自动化标注管线把约3000小时演示表达为Code-as-Policies风格程序，将重复行为蒸馏为50个可复用技能程序；技能库固定后可扩展全语料标注。
• 执行方式：默认模式下生成程序作为学习动作块的条件；混合模式下，通过有效性与进度检查的程序切片可经感知与控制API直接执行，否则回退到模型动作块。RoboTwin视觉随机化设置下，混合执行将成功率从20.6%提升至29.2%。
• 评测：覆盖50个RoboTwin 2.0任务和8个真实世界任务，覆盖YAM平行夹爪与天机Sharpa灵巧手；RoboTwin干净设置成功率80.8%，真实机器人操控得分71.1，均远超基线。
• 消融示例：在「让左碗最后只剩芒果」指令下，带代码流的AW-0预测与芒果交互，而无代码流的WAM去抓苹果，说明代码让目标物体与操作显式化；卡片插入等任务中手-物对齐同样改善。

为什么重要

当前机器人学习通常将规划、预测与控制分离在不同模块，AW-0把三者统一进一个生成式模型，且生成的代码既是学习型控制的规划条件、又是可直接执行的技能复用接口，为操控智能体提供了规划—预测—执行的一体化基础框架，兼顾效率（单卡实时级推理）与性能（仿真和真机均显著超过基线）。

2026-10-27 ~ 2026-10-27 · 9 条相关

• AW-0 世界动作模型发布：一个生成式模型同时管规划、预测与控制 — trevordarrell · 2026-10-27
• 【源头】AW-0 发布:一个生成式模型同时写代码、预测未来、控制机器人 — trevordarrell · 2026-10-27
• AW-0 发布:代码+视频+动作三专家联合生成的智能体世界动作模型 — trevordarrell · 2026-10-27
• AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
• AW-0 训练配方:3000 小时演示蒸馏出 50 个可复用技能程序 — trevordarrell · 2026-10-27
• AW-0 用代码流改变世界模型预测:同一指令下精准选中目标物体 — trevordarrell · 2026-10-27
• AW-0 混合执行模式:视觉随机化下成功率从 20.6% 升至 29.2% — trevordarrell · 2026-10-27
• 【源头】UC伯克利联合 NVIDIA 发布 AW-0:真实机器人操控成功率 71.1 分远超基线 — trevordarrell · 2026-10-27
• 【源头】AW-0 机器人模型实测:RoboTwin 50 项任务成功率 80.8% 远超基线 — trevordarrell · 2026-10-27