CompVis 开源 RayDer:真实视频自监督新视角合成，呈现幂律缩放

rsasaki0109 · x · 2026-11-10

LMU 慕尼黑 CompVis 团队（Björn Ommer 组）在 ECCV 2026 发表 RayDer，并提出可扩展的自监督新视角合成（NVS）方法：此前自监督 NVS 受限于稀缺的静态场景训练数据，RayDer 通过统一 Transformer 整合三个网络、引入动态状态预测 dropout 与自回归位姿学习，实现了在通用动态真实视频上的稳定训练。

作者展示了 RayDer-L 与 E-RayZer 在多种 NVS 设置（DTU、CO3D、Mip360、LLFF 等）下的 zero-shot 对比，包括近零上下文重叠的极端场景，RayDer 在各设置下均明显更清晰。其性能随数据、模型规模和算力呈可预测的幂律缩放（R² > 0.99），与 LLM 的 scaling 规律类似。配套发布了最小化 PyTorch 复现实现（GitHub 已开源）。