Contrastive World Models：去像素重建，复杂视觉环境大幅超越 Dreamer
bonniesjli · x · 2026-09-26
作者 Bonnie Li 发布 arXiv 论文《Contrastive World Models》，提出在无像素重建的情况下学习潜在动态世界模型：
- 方法：基于 Dreamer 框架，把标准的观测重建目标替换为类似 Deep InfoMax 的下界，最大化状态-动作序列与未来观测局部 patch 特征之间的互信息，使状态表征只保留对预测未来有用的信息，无需重建视觉上无关的细节。
- 结果：在三个视觉复杂度递增的小规模实验中，默认设置下与 Dreamer 及动量预测基线持平；一旦引入干扰物或自然视频背景，则大幅超越两者。由于完全去掉像素解码器，训练也更高效。
- 意义：作者称是在角色转换之间独立完成、计算量很小的工作；对比式 infomax 目标是构建对视觉干扰因素鲁棒的世界模型的有原则方向，对把 model-based RL 智能体迁移到真实世界尤其相关。
所属事件:Contrastive World Models：纯潜空间训练反超 Dreamer(5 条相关)→
「具身」频道最新
- NVIDIA 发布开源 GR00T 2：真实灵巧手全自动完成化学实验 — EricBuess · 2026-11-11
- CoRL 2026：Russ Tedrake 主题演讲被称为机器人创业必修课 — adnothing · 2026-11-11
- 开源机械臂制作日记 Day 7:齿轮传动 CAD 细节与抓手指设计 — _Stocko_ · 2026-11-11
- Perceptron AI 发布 EgoHome 基准:测 AI 能否读懂 Chore 视频里的手部动作 — rohanpaul_ai · 2026-11-11
- Runway 开源 Praxis-1:视频预训练变机器人真机控制 — runwayml · 2026-11-11
- 宇树 G1 人形机器人戴 VR 眼镜操控 A1 无人机演示空地协同 — CyberRobooo · 2026-11-11