RealMe: Immersive Volumetric Video from Minimal Captures
Chenxu Zhou, Zhiyuan Yu, Yudong Jin, Yinji Shentu, Yu Zhang, Jiaming Sun, Xiaowei Zhou
SIGGRAPH Asia 2026 Conference Pa
cs.CV
2026-10-22
RealMe把FLUX改成多视点扩散,8路720p重建2K体积视频,RealVV上PSNR比FTGS高8.22。
体积视频要能自由视点渲染。FTGS 等 4D 高斯方法靠密集机位直接优化,输入变成稀疏 720p 后,没拍到的区域缺少约束,新视角会糊,时间上也会漂。
生成式补全放宽了采集,但仍有两处硬伤。逐视角修复忽略机位关系,跨视角对不齐,两段式流程还会把误差接下去。加上时空注意力后一致性好些,常见视频扩散原生分辨率却常常低于 1K。浙大 CAD&CG 与 4DV.ai 的 RealMe 把问题收成一件事:用少量低分辨率拍摄,做出接近密集采集的 2K 体积视频。
先用输入视频拟合粗糙的 4DGS,重建器是 FTGS。粗模型提供几何,细节不够。沿相机轨迹插值新机位,渲染出新视角视频,当作多视几何引导。另一路用离线检测器裁出人物区域,保留局部细节。两类条件分开增强,避免把覆盖范围不同的画面拼在一起,解码到统一的 2K 后再重建。
底座选用 14B 的 FLUX.1 [dev]。常见视频扩散往往到不了体积视频要的 2K,所以从高分辨率图像模型改。图像模型若逐帧、逐机位各自去噪,外观会随时间漂,几何会在机位间错开。只训练 ControlNet 和部分 DiT 上的 LoRA,VAE、文本编码器与其余权重冻结。条件 latent 和文本经 ControlNet,以残差进入每个 DiT block。
图像位置编号原是三轴,不同帧、不同机位落在同一网格坐标时会拿到同一编码。这里扩成 (t, s, u, v),即帧、机位和网格横纵,四轴分别做 RoPE。
注意力按这个布局拆开。时间维只在同一机位的各帧间传递,空间维只在同一时刻的各机位间传递。空间轴指的是机位,不是图像块。消融显示,分解注意力在画质和下游一致性上都好于全注意力。
训练用 flow matching,要预测的速度等于噪声 latent 减去干净 latent,另加权重 0.1 的潜空间频率损失:对预测 latent 做傅里叶变换,低频对齐真实结构,高频找回细节。放到图像空间时,2K 训练显存溢出,所以监督留在 latent。
RealVV 训练集有 100 条序列、20 名演员,每条 48 至 80 个机位、每机位 300 帧,共超过 140 万张图。评测序列不参与训练。退化覆盖三类:稀疏或欠拟合 4DGS 的渲染伪影,裁剪与下采样,以及 Real-ESRGAN 式的噪声、压缩、失焦和运动模糊。
重建阶段每条序列用 8 路原始拍摄,外加 40 路增强视频,一起监督 FTGS。适配在 8 张 H100 上训练 96 小时,有效批大小 8,学习率 10^{-4}。目标分辨率 2560×1440,条件视频 1280×720。
RealVV 留出 7 条序列,每条 48 机位、180 帧,分辨率 2560×1440,默认 8 个分散机位作输入。DNA-Rendering 取 4 条做零样本,每视点 120 帧,分辨率 1024×1024。
| 方法 | RealVV PSNR/SSIM/LPIPS | DNA-Rendering PSNR/SSIM/LPIPS |
| FTGS | 19.0491/0.8142/0.2492 | 20.6439/0.7986/0.2158 |
| DIFIX3D+ | 22.6373/0.8267/0.2890 | 21.9532/0.7920/0.1666 |
| Diffuman4D | 24.4387/0.9113/0.2105 | 23.2704/0.7822/0.1427 |
| RealMe | 27.2706/0.9393/0.1621 | 25.5956/0.8979/0.1261 |
RealVV 上 RealMe 比 FTGS 高 8.22 dB,比 Diffuman4D 高 2.83 dB,LPIPS 从 0.2105 降到 0.1621。DNA-Rendering 上比 Diffuman4D 高 2.33 dB。FTGS 约束不住未见区域。DIFIX3D+ 在 RealVV 上的 LPIPS 为 0.2890,差于 FTGS 的 0.2492,场景外观没保住。Diffuman4D 建不出背景,长焦画面也泛化差。
4 机位设定下,4C4D 的 PSNR/LPIPS 为 19.0405/0.3716,4K4D 为 15.6413/0.5090,RealMe 为 24.9304/0.2278。
一致性测法是用增强视频加原始拍摄去优化 4DGS,再从对应机位渲染回来比较。Diffuman4D 的 PSNRc/LPIPSc 为 26.7098/0.1913,RealMe 为 28.0756/0.1385。TWE 越低越稳:FTGS 0.00299,RealMe 0.00551,Diffuman4D 0.03170,DIFIX3D+ 0.04533。生成方法里 RealMe 误差最低,但仍高于 FTGS。过度平滑也会压低 TWE。
机位从 4 增到 8 再增到 16,PSNR/SSIM/LPIPS 依次为 24.0490/0.8049/0.2705、27.2706/0.9393/0.1621、27.3614/0.9159/0.1389。4 到 8 路提升明显,8 到 16 路 PSNR 只多 0.09 dB,SSIM 从 0.9393 降到 0.9159。默认因此用 8 路。
组件消融里完整模型的 PSNR 是 24.8924,与主表的 27.2706 对不上,正文没解释口径。去掉布局位置编码,PSNRc 从 27.2688 降到 25.2596。换成全注意力后,PSNR 为 24.3178,PSNRc 为 25.8435。去掉频率损失时 PSNR 为 22.6017,LPIPSc 为 0.3113;潜空间频率损失为 24.9641 和 0.2201,显存 73.5 GB,无此损失时为 72.4 GB。图像空间版本在 2K 溢出,只报告了 1K 上的 24.7123,不宜和 2K 结果直接比。
与 STAR、FlashVSR 只有定性对比:人脸偏糊或带假纹理。RealMe 的五官、头发和衣服更清楚。论文没给这项的 PSNR。
自由视点、远程在场和 VR 里,贵的常常是机位。8 路 720p 比直接优化高出 8 dB 以上,生成先验补上了一部分没拍到的外观。
改进是渐进的。场景表示仍是 4D 高斯,重建器仍是 FTGS。4 路到 8 路还有约 3.22 dB,缺的几何线索补不回来。训练用 8 张 H100 跑 96 小时,推理还要跑 14B 扩散和逐场景优化,单条序列耗时论文没给。
论文承认三点:高质量多视点数据少,大场景和复杂相机泛化有限;几何线索不足时粗 4DGS 起不来,后面的增强没有支点;数据扩充和 2K 推理加速都留到以后。
主增益来自自采 RealVV,零样本只有 4 条 DNA-Rendering,分辨率是 1024。Diffuman4D 不建背景,全场景对比偏利于 RealMe。TWE 没有好过 FTGS。与 STAR、FlashVSR 没有数字。表 2 只说是代表性结果,PSNR/SSIM 为 24.9304/0.8735,同为 4 路的消融却是 24.0490/0.8049,差异没有定义。先生成再优化是否仍在累积误差,论文没有单独测。训练演员 20 人,内容以人体表演为主,开放场景基本没测。