VGC 论文：后处理模型修正生成视频的 3D 几何畸变
kwangmoo_yi · x · 2026-10-20
Lyu 等人发表 NeurIPS 论文《Learning to Correct Geometry in Generated Videos》，提出 Video Geometry Corrector（VGC）。
- 问题：现有视频生成模型在大幅度相机运动下常出现结构扭曲、视差不一致、场景布局漂移等几何失真；作者认为根源是数据问题——网络视频大多来自静态相机的动态物体，视角变化的监督信号稀疏。
- 方法：VGC 是一个即插即用的 video-to-video 后处理模型，不改源头生成器；通过合成配对监督管线构建 VG-Pairs 数据集（以真实视频为几何一致目标，用图像到视频修补模型合成畸变对应版本），并以光流作为辅助线索区分相机运动与物体运动。
- 效果：在姿态条件与文本驱动基准上几何一致性均有提升，放大到更大 backbone 后还能泛化到一般视频修复，包括人物/物体运动畸变的动态场景。
论文、代码均已放出。
「多模态」频道最新
- AI 音乐视频《Mike from Jersey》展示卡通三明治店场景 — Ass_Blast69 · 2026-10-20
- Nutrient 推出文档决策模型：200 毫秒出答案还带校准置信度 — TheZachMueller · 2026-10-20
- TerraVis 评测框架入选 NeurIPS 2026：专查生成图片的物理世界一致性 — jiqizhixin · 2026-10-20
- MULTIFINVG benchmark:语言模型能识别金融概念却难提取完整证据 — TheFinAI · 2026-10-20
- 实测 MOSS 模型局部重绘惊艳，作者放出 Civitai 工作流 — Clasyc · 2026-10-20
- iPhone 动作按钮一键出片:Grok 语音+HeyGen MCP 生成数字人视频 — HeyGen · 2026-10-20