KAIST 提出 DreamX:视频扩散模型成为通用潜在动作学习器
kaist-ai · hf · 2026-11-04
KAIST 与 NVIDIA 合作发布论文 DreamX: Video Diffusion Model is a Universal Latent Action Learner。
- 核心思路:利用预训练视频扩散模型作为编码器,从人类第一视角视频与机器人视频中学到紧凑、外观不变的潜在动作表征。
- 解耦外观与运动:外观由视频先验提供,运动信息压缩进紧凑 latent,使同一原子动作可跨 embodiment 复用。
- 支持跨本体迁移(human→robot 的视频迁移与动作迁移)和高效策略学习,可从潜在动作直接训练「pick up the block」类策略。
为利用海量人类视频做机器人策略学习提供了新路线,属视频扩散×具身方向的实质性研究。
「具身」频道最新
- 萝卜快跑香港东涌两周公众试乘收官，百度自动驾驶出海再进一步 — Baidu_Inc · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04
- Chris Paxton：交互式机器人仿真是未来，但数据瓶颈明显 — Scobleizer · 2026-11-04
- KAIST RoboTryOn:把人类演示视频「试穿」成机器人视频,成功率 2%→60% — kaist-ai · 2026-11-04
- INMO 新款 AI 眼镜亮相:125g 双 1080p 屏,早鸟价 799 美元 — Scobleizer · 2026-11-04
- DISCO 蒸馏树搜索入选 CoRL 2026 最佳论文六强 — yining_hong · 2026-11-04