VGGRPO用隐空间强化学习稳住视频几何
机器之心 · wechat · 2026-07-17
### 核心问题 大规模视频扩散模型虽然画质提升明显，但常出现**几何漂移、镜头抖动、场景结构不连贯**等问题，尤其不适合具身智能、世界模型等需要稳定 3D 一致性的下游任务。 ### VGGRPO 做了什么 研究者提出 **VGGRPO（Visual Geometry GRPO）**，主打在**隐空间**里做几何感知的视频后训练，而不是先解码到 RGB 再算奖励。它由两部分组成： - **Latent Geometry Model（LGM）**：用轻量连接层把视频扩散模型的 latent 和几何基础模型对齐，直接从 latent 预测 4D 场景几何。 - **GRPO 后训练流程**：在 latent 空间中加入两类奖励： - **摄像机运动平滑度奖励**：根据预测位姿的平移/旋转加速度惩罚抖动镜头； - **几何重投影一致性奖励**：利用点云、深度、相机参数和光流，约束跨视角 3D 结构一致，动态场景中还会过滤动态区域。 ### 结果与意义 实验显示，VGGRPO 在**静态和动态场景**的几何指标上都优于基线，同时**没有牺牲通用视频质量**。作者强调，这种方法不需要改动复杂生成器架构，也不依赖昂贵的像素级奖励，就能提升模型构建“物理一致世界”的能力，对**世界模型、具身智能、视频生成**都有参考价值。