FixAnything:稀疏点云加 20 段视频微调,视频模型统一修复 3D 渲染
kwangmoo_yi · x · 2026-08-26
CMU 团队(Vuong、Ramanan、Narasimhan)的 FixAnything(ECCV 2026)提出用单一通用视频模型修复任意 3D 表示的渲染伪影:
- 核心思路:把修复视为 video-to-video 翻译。3DGS/NeRF/mesh/点云渲染各有伪影,但渲染保留了相机轨迹和粗略场景布局,正好作为视频扩散模型(Wan2.1-I2V-14B)的控制信号
- 数据效率:极稀疏点云(如 COLMAP 输出)即可提供有效相机控制,只需约 20 段成对视频做最小 LoRA 微调
- 对齐方法:用 COLMAP 从输出恢复的相机位姿作为奖励,通过 Flow-DPO 引导模型输出几何一致的结果
- 锚点机制:轨迹经过的干净训练视角被当作锚点,模型将外观、光照与场景结构传播到中间的退化帧
所属事件:CMU 提出 FixAnything:视频模型统一修复任意 3D 渲染伪影(2 条相关)→
「多模态」频道最新
- Kling 4.0 实测:单次生成 30 秒 1080p 长镜头与角色参考 — HeyZoyaKhan · 2026-10-15
- Kling 4.0 生成泰山率狼群军团出征,30 秒成片难辨真假 — HeyZoyaKhan · 2026-10-15
- Kling 4.0 主打「导演式」视频生成:编排动作、构建视觉世界 — alex_verem · 2026-10-15
- ElevenLabs MCP + Claude Motion:一句提示词给视频加动效,跳过 AE — CurieuxExplorer · 2026-10-15
- Google 演示:Gemini 内把学术 PDF 一键变彩色动画故事书 — CurieuxExplorer · 2026-10-15
- Magnific One 拍图 + Seedance 2.5 一条提示词,产出 15 秒完整广告片 — CurieuxExplorer · 2026-10-15