When 3D Gaussian Splatting Recovers Real Surfaces
Songhe Wang, David Johnathan Miller
ECCV 2026
cs.LG, cs.CV
2026-08-31
视差把错位几何变成高频视角色;球谐不够时真表面更好拟合,过高就用广告牌骗图。合成里约89%形状几何变差,十个真实集上SH=24仍贴表面。
3D Gaussian Splatting已经不只拿来出图。一批工作把学到的高斯当表面,往外抠三角网格、做接触和编辑。标准3DGS目标却没有任何表面恢复保证:训练视角都能拟合,高斯中心仍可能离开真表面。这篇问的是几何可信度:什么时候学到的高斯真的贴着表面,而不是靠视角相关颜色在骗渲染。
完整体绘制会把可见性、遮挡和半透明搅在一起。为了单独谈几何,渲染被收成首击抽象:不透明表面上,一条光线的颜色由第一次命中点的外观函数决定。试点统计里,92.6%的前景光线中,最靠前的三颗高斯拿走超过90.2%的合成质量。这只说明在他们控制的不透明场景里质量很靠前,不能把所有3DGS都说成首击。
外观用阶数不超过L的球谐,L就是角容量。真表面的最佳误差A(L)只来自光滑的高光残差,漫反射纹理不占角频率。错位表面要把背景空间纹理经视差写成视角信号,诱导角频率大约是空间频率乘深度误差。L小于这个频率时,错几何有一块搬不走的误差下界;L够大时,一块挡在空中的不透明广告牌可以靠高阶球谐把视差纹理背下来,训练图像照样完美。
中间的L因此构成可辨识窗口:真表面比错表面更好拟合。实验只改球谐阶数,用归一化倒角距离看高斯中心离真表面多远,用PSNR看外观。不透明广告牌定义为外观仍接近最优、几何严重变差。合成集是100个形状,复杂度可调;真实侧是DTU、ScanNet、Tanks and Temples等十个带几何真值的场景。
受控合成验证了预测。图1里同一高光物体,SH=3时PSNR 34.9 dB、nCD 0.03,已经贴表面;SH=24时PSNR 35.2 dB,nCD跳到6.28,高斯塌成离面的不透明层。约89%的形状随着阶数上升nCD变差,平均PSNR还略升。其中约53%在阶数6到12出现陡增,几乎都被标成不透明广告牌;约42%随阶数近似线性变差,要到最高阶才跨过阈值。剩下一部分即使SH=24仍保持在最佳nCD的两倍以内,对应理论里空间纹理太复杂、假频率超出测试容量的安全区。
十个真实数据集上,同一套广告牌判据一个都没触发。每个数据集SH=24相对SH=3的nCD最多大约1.2倍。表均值从nCD 0.0220、PSNR 29.6走到nCD 0.0254、PSNR 30.2。标准多视图采集里空间纹理足够细,即使L=24也走不出可辨识窗口。
提高球谐阶数能拟合更尖的高光,也会给错几何开后门。想把3DGS当几何用,应把角容量当成需要调度的资源:先低阶把高斯钉在表面上,再按需放开。这也解释了为什么2D高斯、SDF耦合、法向或深度正则在高外观容量时有用,它们直接砍掉或惩罚离面解。理论覆盖的是带限球谐外观头的代理表面,不限于3DGS这一家。
对常见真实捕获协议,这篇更像一颗定心丸:按他们的标准,高阶球谐还没有把重建推离表面。风险在合成、弱纹理、或者将来有人把角容量开得比这篇测试的L=24更狠。
保证依赖近似不透明、高光残差足够光滑、漫反射纹理不能被残差抵消。镜子、透明、强互反射、曝光和色调映射都不在假设里。首击是分析用的抽象,不是3DGS渲染的忠实模型。广告牌标签用的是相对nCD和PSNR带宽,阈值在附录;表1的逐数据集数字在HTML转换里列名错位,这里只采用文中明确写出的1.2倍上界和均值行。几何正则方法被明确排除在同等失效声明之外。真实实验是标准多视图协议,稀疏视角会不会提前触发广告牌,没有测。