4D-WAM:将 3D 轨迹场时空感知注入机器人动作模型
zhenjun_zhao · x · 2026-08-13
世界-动作模型(WAM)通常在 2D 像素空间中表示视频,这与执行机器人动作的 3D 空间存在表示鸿沟。现有的 3D 方法未能充分利用 3D 结构的动态特性。本文提出了 4D-WAM,一种模型无关的训练策略。
- 核心方法:通过表示对齐,将来自 3D 轨迹场的时空知识注入 WAM 中。
- 双重对齐目标:1) 运动对齐:对齐相邻帧间的时序特征变化,鼓励模型在训练期间建立局部 4D 感知;2) 目的地对齐:通过最小化源帧与最终目的地之间的注意力相似度分布差距,引导模型推断最终目标。
- 实验结果:这些目标提供了局部运动监督和长期目标指导,使 WAM 能够学习轨迹级别的时空表示,在分布内和分布外实验中均表现出色。
「具身」频道最新
- 特斯拉新 Roadster 演示:垂直爬墙、倒挂行驶,靠推进器飞离 — tetsuoai · 2026-10-16
- FoveaVLA 用学习式注视动作替代腕部相机,成功率升至 70.8% — Haoyu_Xiong_ · 2026-10-16
- 马斯克暗示:Grok 将进 Optimus 机器人,数字 Optimus 也将入 Grok — beffjezos · 2026-10-16
- OpenDriveLab 等提出 SimVTA:用模拟器渲染未来视频给驾驶世界模型做 RL 后训练 — OpenDriveLab · 2026-10-16
- 9 家机器人数据供应商横评:Scale AI 营收超 10 亿美元,机器人业务能否复制其利润率 — FinanceYF5 · 2026-10-16
- Kroger 裁 3000 个公司岗位占 37%,博主预言人形机器人 2030 年代接棒 — csuwildcat · 2026-10-16