上交大发布 SWAM：4.7万小时视频训练世界动作模型
SJTU · hf · 2026-11-10
上海交大联合团队发布 SWAM（Scaling World Action Models with Cross-Modal Alignment），研究如何在语言条件下联合预测视频与动作的世界动作模型（WAM）中保持语言-视频对齐。
- 整理约 4.7 万小时数据池：通用视频、第一人称视频、UMI 演示与机器人演示
- 系统研究语言-视频监督、语言-视频-动作监督及其联合使用对 WAM 的影响，以及语言标注质量与动作监督的作用
- 固定训练预算下，混合第一人称视频与 UMI 演示可提升控制泛化；扩大预训练规模带来进一步收益
- 仅用 RoboTwin Clean 演示做后训练，Easy（Clean-to-Clean）成功率 88.10%，Hard（Clean-to-Random）61.56%；三个真实任务上 SR 达 40.00%，远超最强基线的 23.33%
数据、训练代码与模型权重均已开源。
「具身」频道最新
- Amazon Ring 发布 250 美元自动巡逻家用安防无人机 — Polymarket · 2026-11-10
- NVIDIA 等团队论文:放开 VLA 梯度回传,操作任务进度翻三倍 — stepjamUK · 2026-11-10
- Gemini Robotics 2.5 发布：为奔驰分拣零件准确率达 96% — GoogleDeepMind · 2026-11-10
- 桌面对话盒 SlashVibe:一眼管理多个 AI 编码 agent 会话 — Scobleizer · 2026-11-10
- Path Robotics 融资3亿美元,E轮估值达24.5亿美元 — Rewkang · 2026-11-10
- 宇树 Go2 机器狗用 Gemini+贝叶斯主动学习实时追问澄清意图 — DynamicWebPaige · 2026-11-10