CausalAlign 对齐 3D 动力学:扩散视频模型几何一致性提升超 20%
Kai Zhu · hf · 2026-10-27
北大联合 NVIDIA、清华等团队提出 CausalAlign,解决扩散视频生成模型长时程相机自运动(ego-motion)漂移问题。
方法与结果:
- 先用线性探针和因果干预诊断视频生成模型内部如何表征、使用和保留精确自运动信息,发现去噪过程中呈「先升后降」模式
- 据此在识别出的层上,通过 delta-token 空间(编码相邻帧变化,聚焦运动动力学而非静态场景内容)将内部表征对齐到 3D 基础模型
- Wan2.2 微调后,几何一致性较基线相对提升超 20%,运动精度、时序平滑度均改善且视觉质量不损
- 微调后的模型作为世界动作模型(WAM),在 RoboCasa365 移动操作任务成功率提升 10 个百分点
兼顾视频生成质量与具身应用的相机运动一致性。
「多模态」频道最新
- 用 Claude Code 加 MiniMax 视频模型，随手提示词生成高速战斗动画 — Inevitable-Bus-8654 · 2026-10-27
- 不建 3D 模型：用 AI 生成视频拆帧做出可交互 3D 商品展示 — aigclink · 2026-10-27
- 商品照变可旋转展示完整教程：GPT-6 Astra + AI 视频当 UI 动画 — MaziyarPanahi · 2026-10-27
- MiniMax H3 图生视频被曝重伪影：照片转视频比 2D 图更容易翻车 — Radiant-Photograph46 · 2026-10-27
- AI 生成「树懒乱入老友记」式视频爆红，身份模糊引热议 — heresalexandria · 2026-10-27
- AI 虚拟艺人 MALFOID 发布 MV 预告，全 AI 视觉制作 — staszh · 2026-10-27