SG-WAM：用视觉语言模型增强机器人动作模型的语言对齐
zhenjun_zhao · x · 2026-08-13
现有的世界-动作模型（WAM）在生成未来视频和动作时主要依赖视觉线索，导致生成的视频往往与语言指令在语义上不一致，降低了动作预测的准确性。本文提出了 SG-WAM 模型来解决这一限制。
- VLM 语义规划器：引入视觉语言模型（VLM）作为语义规划器，增强 WAM 的指令锚定能力。
- 语义前瞻：训练该规划器预测文本锚定和空间感知的语义前瞻。文本锚定前瞻通过识别正确目标物体来锚定指令，空间感知前瞻则为精确操作提供场景几何信息。
- 特征注入：将这种前瞻作为高级语义指导注入 WAM 中，确保未来视频生成和动作预测都能忠实地遵循语言指令。仿真和真实世界实验均证实了其优越性。
「具身」频道最新
- 特斯拉新 Roadster 演示:垂直爬墙、倒挂行驶,靠推进器飞离 — tetsuoai · 2026-10-16
- FoveaVLA 用学习式注视动作替代腕部相机,成功率升至 70.8% — Haoyu_Xiong_ · 2026-10-16
- 马斯克暗示：Grok 将进 Optimus 机器人，数字 Optimus 也将入 Grok — beffjezos · 2026-10-16
- OpenDriveLab 等提出 SimVTA:用模拟器渲染未来视频给驾驶世界模型做 RL 后训练 — OpenDriveLab · 2026-10-16
- 9 家机器人数据供应商横评：Scale AI 营收超 10 亿美元，机器人业务能否复制其利润率 — FinanceYF5 · 2026-10-16
- Kroger 裁 3000 个公司岗位占 37%，博主预言人形机器人 2030 年代接棒 — csuwildcat · 2026-10-16