亮度主导 3DGS 几何形成:纯亮度训练只比 RGB 低 0.085 dB

What Builds the Scene? Luminance Dominates Geometry Formation in 3D Gaussian Splatting

Rezvan Joshaghani, Steven Cutchin

cs.CV, cs.GR

2026-10-01

冻结几何后统一重拟合外观,纯亮度训练的 3DGS 几何只比 RGB 低 0.085 dB;纯色度训练差 3.9–5.5 dB,删掉的色彩可在冻结几何上补回。

这篇在解决什么

3DGS 用同一份 RGB 损失同时干两件事:搭几何(高斯的位置、尺度、旋转、不透明度)和上色(每通道 16 个球谐系数)。两种信号搅在同一次反传里,残差看不出是亮度还是色彩推动了表征形成。一个直观实验能暴露这种纠缠:前半程只监督亮度,后半程再放出色度,最终质量基本追平 RGB。但这说明不了因果,可能亮度早把几何搭完、色彩只管补色,也可能后半程在修几何。黑白重建加后期上色、YUV 域压缩色度系数这些先前工作都暗示过「亮度管结构、色度管颜色」,但没人量化过标准训练里色度对几何贡献多少,这篇补的就是这个测量。

方法

核心动作是把「用什么监督」和「怎么上色」拆开:

训练图像转到 BT.601 YCbCr,分四个臂训练:完整 RGB、仅 Y、仅 CbCr、延迟放出色度;11 个标准 benchmark 场景,每条件 4 次独立训练,30k 迭代。
训练完冻结几何参数,SH 外观系数全部重置,用同一个求解器 A 重拟合到 3 阶球谐:可见性加权最小二乘起步,再用渲染残差迭代精化,处理高斯间的重叠。
在 held-out 视角比 RGB PSNR。两边拟合条件完全相同,比出来的就是几何本身能支撑的重建,不带各自训练时碰巧学到的外观。

A 配当公共标尺是先验证过的:从训练好的模型删掉色度再重估(删色度本身要掉 3.1–16.5 dB,平均 8.2 dB),恢复率能到 1.017,1 为完全恢复,瓶颈不在求解器。混淆有对照压着:YCbCr 参数化配 RGB 损失只差 -0.018 dB,排除「换色彩基」本身的影响;裁到相同高斯数重解,差距最多动 0.006 dB;还有关掉 densification、两边持有同一组高斯的对照。

结果

对比	指标	结果
仅 Y vs RGB 几何(同一 A)	held-out PSNR 差	-0.085 ± 0.037 dB,8/11 场景在 ±0.15 dB 带内
KITCHEN / DR.JOHNSON / PLAYROOM	同上	RGB 稳定领先 0.2–0.3 dB
仅 CbCr vs 仅 Y 几何	同上	差 3.9–5.5 dB(三个场景)
同一组高斯、关掉 densification	同上	色度仍差 1.4–2.5 dB
删 1–3 阶 SH 对 Y	held-out PSNR	-1.441 dB(MSE +35%)
删 1–3 阶 SH 对 CbCr	held-out PSNR	-0.187 dB(MSE +3.6%)
冻结几何重拟合被删色度	恢复率	0.300(全局色调)→ 1.017(coupled 3 阶 SH)
对抗色度(跨视角错配)	同上	降 0.15–0.67 dB,四个种子完全分离

纯色度训练的高斯只有亮度组的 7.0%–15.3%,因为色度的位置梯度小,过不了 densification 的绝对阈值。把阈值调到增长节奏对齐,只收回原差距的 36%–43%;把色度对比度拉到亮度量级,再收回残差的约 9%,还剩 2.1–3.1 dB。错配色度确实伤几何,但量级和拿掉亮度差一个数量级。镜面场景是例外:铬球上去掉高阶色度损失 0.61 dB,亮度侧是 5.7 dB,实测色度也随视角明显变化。结论定为亮度主导、不排他。

为什么重要

对做 3DGS 系统的人,这篇把一个隐约的直觉变成了带对照的定量结论。作者点出三个未验证的落地方向:densification 等几何操作可以改用亮度加权信号;空间支撑成型后可以事后拟合或替换色彩,黑白采集加后期上色的流水线因此有了依据;色度 SH 的阶数和精度可以压得比亮度狠,HiGS 给亮度 6 bit、色度 4 bit 的分配在训练动力学层面得到解释。

也要说清:几何侧差距只有 0.085 dB。这是一篇把分工测清楚的测量论文,不是性能提升论文。

局限与存疑

作者列了九条限制,要紧的几条:

三个室内场景上 RGB 几何稳定领先 0.2–0.3 dB,亮度并非处处够用;只有色度差异的边缘上,纯亮度训练会把深度往背景拉,边界被模糊(事后分析,预注册判据未确认)。
采集管线本身削弱色度:benchmark 的 JPEG 用 4:2:0 色度下采样,色度分辨率只有亮度一半;Mip-NeRF 360 图像再缩 1.95–3.24×。「色度撑不起几何」是这条管线下的结论,无下采样的对照没做。
因果实验只覆盖三个场景,多个控制臂单种子;深度分析对照的是重训练方差,不是真实表面。
所有模型都从 SfM 点云初始化,而 COLMAP 特征点来自灰度图,起点已经偏向亮度。
不透明度被划进几何里冻结,它本身携带光度信息,SH 求解重置不掉。结论也限于标准 3DGS 设置,稀疏视角和 NeRF 没测。

还有一个数字细节:±0.15 dB 的正式等价性检验在 90% 置信区间上差 0.001 dB 没过,作者保留了原带宽。严格说,结论里的「近乎等价」四个字是在做事的。

术语

3DGS:用数百万个带颜色和不透明度的 3D 高斯直接光栅化成图像的场景表征。
球谐系数(SH):每个高斯存一组随方向变化的颜色系数,0 阶是基色,1–3 阶刻画随视角变化的效果。
densification:训练中位置梯度积累超阈值就克隆或分裂高斯的增密机制,决定用多少基元搭场景。
YCbCr:把 RGB 拆成一个亮度通道和两个色度通道的色彩空间,视频压缩里色度常被下采样。
held-out PSNR:训练未见视角上的峰值信噪比。
LPIPS:基于深度特征的感知相似度,比 PSNR 更接近人眼判断。

原文与代码

社区讨论

研究发现 3DGS 几何形成主要由亮度主导,色彩可事后重拟合 kwangmoo_yi