Geometry and Gradient-based Partitioning for Panoramic Outdoor Reconstruction
Weijian Chen, Weibo Yao, Yuhang Zhang, Xiaolin Tang, Guo Wang, Weijun Zhang, Xitong Gao, Yihao Chen, Hongde Qin, Lu Qi
cs.CV
2026-07-10
影石等提出 PanoLOG,用渲染损失梯度给相机打分重新分块,解决全景图让 3DGS 分块训练退化为全局训练的问题,并首发大规模全景重建基准 Pano360。
3D Gaussian Splatting(3DGS)是目前重建三维场景的主流路线,把场景表示成一组带不透明度的高斯椭球,渲染快、效果好。但扩到大规模户外场景(街区、园区级别)时,采集和算力都吃紧:一张普通针孔相机照片视野有限,要覆盖一大片区域得拍海量图。
全景图(panoramic,用 ERP 等距柱状投影把 360° 压进一张矩形图)看上去正好解这个问题,一张图顶好几张。但 VastGaussian、CityGaussian 这类现成的「分块重建」方案直接拿来用会失效。它们的分块逻辑建立在针孔相机的视锥(frustum,相机能看到的锥形区域)上,靠「这块空间主要由哪些相机看到」来切分、并行训练。全景图每张都看得到四面八方,所有空间区域在所有视图里都耦合在一起,基于视锥的切分失去判别力,「分块优化」退化成「全局训练」,分块带来的并行和省显存全没了。
PanoLOG(影石 Insta360 联合多所高校)针对这个失效点,重新设计了一套能用在全景图上的分块法。
PanoLOG 是两阶段的粗到精框架(coarse-to-fine)。
第一阶段做全局粗训练,在所有全景图上一起优化,先把稳定的几何先验建起来。和以往只靠光度损失(让渲染图和原图像素对齐)不同,它从一开始就加入全景单目深度监督,并单独建一个「天空球」。
天空球建模(sky-sphere):天空区域没有有效的 SfM(运动恢复结构)几何,传统做法会让近场的高斯球漂走,产生浮空伪影(floater artifacts)。PanoLOG 在 10 倍场景半径处放一批专门的天空高斯球,用球面均匀采样初始化,分块精炼阶段把它们冻结,保证跨块视野一致。
全景单目深度监督:ERP 投影在两极会把像素拉伸,削弱 SfM 的三角化精度。PanoLOG 用 Depth-Any-Panorama 生成单目逆深度图,再用每张图的仿射参数对齐到 SfM 的稀疏深度上。深度损失带一个指数衰减权重(从 0.5 衰减到 0.01),前期给强几何引导,后期放开,避免深度估计的误差卡死最终质量。
第二阶段是分块精炼,用 G²PS(几何与梯度分块策略)做空间切分和相机分配。
几何分块:全景场景是无界的(unbounded),均匀网格会导致负载不均。G²PS 基于三角化可靠性扩展相机轨迹边界,建一个自适应的轴对齐包围盒(AABB):margin = 相机最近邻中位距离 × 三角化范围因子。这把无界的户外环境转成稳定的重建区域。
梯度相机分配:这是针对「全景图视锥失效」的核心一步。既然几何上没法用视锥判断一台相机该归哪个块,就改用渲染损失的梯度来评估每台相机对每个块的贡献大小。梯度重要性超过阈值(τgrad=0.8)的相机,哪怕物理上在隔壁块,也照样纳入,观测贡献显著的视角不会被漏掉。
在自建的 Pano360 基准上,PanoLOG 对比 H3DGS、CityGaussian、DOGS、Momentum-GS 四个分块基线。
无人机场景(NSC、NSK):
| 方法 | NSC PSNR | NSK PSNR | NSK SSIM | NSK LPIPS |
| H3DGS | 27.78 | 24.15 | 0.8154 | 0.1934 |
| CityGaussian | 27.73 | 24.83 | 0.8176 | 0.1983 |
| PanoLOG | 28.18 | 24.64 | 0.8243 | 0.1916 |
手持场景(BAX、NSN)提升更明显,比最强基线分别高 0.64 dB 和 1.16 dB,而且模型体积只有 H3DGS 的 1/2.9 到 1/7.5。
| 方法 | BAX PSNR | NSN PSNR |
| H3DGS | 20.71 | 23.45 |
| CityGaussian | 19.84 | 21.95 |
| PanoLOG | 21.35 | 24.61 |
在公开全景数据集 Ricoh360、360Roam 上,对比 OmniGS、ODGS、SpaGS 以及 cubemap 3DGS,各项指标也都是最优(Ricoh360 PSNR 26.48,360Roam 25.83)。
消融实验(NSK)显示三个组件缺一不可:完整模型 24.65 PSNR,去掉 G²PS 掉到 24.14,去掉天空球 24.15,去掉深度监督 24.61。
大规模户外三维重建是城市级数字孪生、自动驾驶仿真、地理可视化的地基。全景图把采集成本降下来,但分块并行这个让 3DGS 能 scale 的关键手段,过去对全景图是不工作的。PanoLOG 把这条路打通,证明视锥不是分块的唯一依据,渲染梯度同样能给全景图划出有意义的块,让分块并行训练重新可用,同时显存和模型体积都更省。
配套的 Pano360 填了一个空白,此前没有大规模全景户外重建的公开基准,后续工作有了可比的靶子。
这是渐进式的方法工程改进,不是表示范式上的突破;它的价值在于让一种更省事的采集方式能用上更省算力的训练方式。
作者自己承认两点。一是框架假设场景静态,行人车辆等动态目标会留下重影伪影,得先用 mask 预处理掉。二是第一阶段全局粗训练仍然需要一块不小的显存,对超大规模初始化仍是瓶颈,分块省的是第二阶段,第一阶段的墙没拆。
读下来还有一处存疑:G²PS 的几个阈值(三角化范围因子、τgrad=0.8、天空球 10 倍半径)在论文里看起来是经验取值,没看到系统性的敏感性分析;这些数换到别的场景还成不成立,论文没回答。手持场景的基线 PSNR 本来就只有 20 出头,绝对重建质量仍然偏弱,提升幅度好看,但离「能直接用」的距离值得自己估一下。