去像素解码器训练世界模型,复杂视觉环境反超 Dreamer
burny_tech · x · 2026-09-27
论文《Contrastive World Models》指出,世界模型若靠像素重建训练,大量容量会浪费在与任务无关的背景细节上。
作者基于 DeepMind 的 Dreamer,移除像素解码器,改用类 Deep InfoMax 的下界目标:最大化状态-动作序列与未来观测局部特征之间的互信息,让潜在状态只保留对规划预测有用的信息。
实验结果:
- 干净环境中与 Dreamer 及动量预测基线打平
- 引入移动干扰物或自然视频背景后显著优于两者
- 去掉解码器后训练更高效
结论:对比式 infomax 目标是构建对视觉干扰鲁棒的世界模型的有原则方向,对 model-based RL 迁移到真实世界尤其重要。
所属事件:Contrastive World Models:纯潜空间训练反超 Dreamer(5 条相关)→
「具身」频道最新
- 扑翼无人机在空军测试中被探测系统误判为鸟 — import_jmr · 2026-11-16
- Uber 在拉斯维加斯上线 Amazon 旗下 Zoox 无人驾驶出租车服务 — Polymarket · 2026-11-16
- 蚂蚁灵波具身大模型挑战赛收官:TARS战队48小时真机对决夺冠 — 新智元 · 2026-11-16
- 特斯拉 FSD 城市街道里程破 70 亿英里,四周新增约 5 亿 — XFreeze · 2026-11-16
- Ropedia 发布 Xperience 2:1500+ 真实场景扫描配第一人称演示 — liuziwei7 · 2026-11-16
- 杭州群核联合华测发布 3D 激光扫描仪 Aholo MS07 — teortaxesTex · 2026-11-16