Light Field Primitive for Novel View Synthesis
Liang Chen, Jiahui Ning, Xun Jiang, Xing Xu, Jimmy Ren, Fenglei Fan, Heng Tao Shen
cs.CV
2026-09-25
LFP把场景写成4D射线空间里的可微光场基元,标准新视角28.02 dB且101 FPS,抗锯齿、散焦、鱼眼与折射共用同一渲染器。
NeRF把场景写成三维连续辐射场，沿相机射线积分；3DGS把场景写成可优化的三维高斯，再投影成屏幕脚印。相机并不测量空间中某一点的量，它测量的是沿每条射线到达的辐射。渲染器必须在两边之间翻译：NeRF把射线变成点采样，3DGS把高斯变成像素能求值的脚印。
理想针孔下，一个像素对应一条射线，这种翻译还能学对。一旦离开理想模型，陈述全是关于射线的：分辨率变粗，像素收集更宽的一束，出现走样；有限光圈把射线束摊开，出现散焦。这些没法直接写进空间锚定的变量，只能给渲染器再加专用装置。
经典光场渲染把辐射按射线索引，抗锯齿是预滤波射线库，散焦是对合成光圈里的射线取平均。代价是必须稠密采射线，存储贵，新视角锁在固定视体内，没法对着带位姿的照片优化。
LFP把可微点基优化搬进四维射线空间。一对平行平面把一条射线标成四个坐标。同一视差处穿过同一点的射线构成一个射线组，组内两平面坐标由视差决定仿射耦合，极线几何写在这套坐标里。
每个基元绑在一个射线组上，存锚射线、视差、各向异性协方差、不透明度、基色，以及三个各向异性球面高斯瓣。锚射线和视差确定这个组；协方差决定查询偏离组时响应怎么掉；基色管组内相干的辐射，ASG瓣管高光。瓣绕锚射线方向反射后求值，当着色法向用。
查询一条相机射线时，既不投影也不沿射线步进。在该基元自己的视差平面上算查询与锚射线的二维残差，高斯核变成标量响应，再按视差排序做alpha合成。多图集时视差不可比，改按相机系里响应峰值点的深度排序。协方差会加上半像素宽度，避免比当前视图还能分辨的更窄。
单对平面索引不了几乎平行于它的射线，所以训练前用训练相机朝向的聚类定16个图集，每个图集一套平面对。基元初始化后不换图集，法向也不优化：移动法向会让该图集下所有残差一起漂，梯度互相抵消。COLMAP稀疏点只当起始值。损失是L1加D-SSIM，外加高光幅度正则，防止瓣抢走基色该承担的辐射。致密化信号来自锚坐标和视差的梯度。
抗锯齿和散焦都落在渲染器已经在读的协方差上，把像素束或光圈束的二阶统计加进去，必要时按行列式比缩放不透明度。鱼眼只改像素到射线那一步。折射什么都不加：基元按辐射相干分组，不假设相干从何而来。
标准新视角跟NerfBaselines协议对齐，单卡H100，每景30k迭代。
| 方法 | Mip-NeRF 360 PSNR | Tanks and Temples PSNR | FPS (360/T&T) | 显存 (360/T&T) |
| Mip-NeRF 360 | 27.68 | 23.43 | 0.12 / 0.27 | 34.4 / 34.4 MB |
| 3DGS | 27.45 | 23.84 | 166 / 229 | 789 / 418 MB |
| Mip-Splatting | 27.49 | 23.93 | 149 / 203 | 782 / 452 MB |
| LFP | 28.02 | 24.38 | 101 / 173 | 313 / 150 MB |
LFP在两套数据上PSNR和SSIM都是表内第一，LPIPS第二。相对3DGS，360上高0.57 dB，帧率大约三分之二，显存不到一半。
多尺度按Mip-Splatting的协议：单分辨率训练，在1×、2×、4×、8×上测。zoom-in平均PSNR为27.47，Mip-Splatting为27.37，3DGS掉到23.25。zoom-out平均31.92，对Mip-Splatting的31.97，3DGS为24.84。LFP训练不加参数，推理时改已有项的数值。
散焦用Deblur-NeRF的十个真实场景。不建模光圈的3DGS和Mip-Splatting去不掉糊。LFP为23.33 dB，排第三，DOF-GS为23.48、Deblur-NeRF为23.40；SSIM为0.728，第二。每张训练图只多光圈和焦距两个标量，测时丢掉光圈项就能出清晰图，事后改焦距就能重对焦。
鱼眼在ScanNet++六景上，LFP为28.52 dB，3DGUT为28.47，Fisheye-GS为28.14；3DGS只能跑去畸变图，为23.70。透明物体四景，LFP为23.66，RT-Splatting为23.37，显式折射的Eikonal Fields为21.54。
消融全在九景上。一个图集为21.10 dB，掉6.92；四图集收回6.62，十六图集到28.02，三十二只再加0.01。ASG三瓣是质量速度拐点：28.02 dB、101 FPS；一瓣少0.15 dB，120.6 FPS；五瓣27.97 dB、84.4 FPS。去掉高光正则掉0.17 dB，瓣幅度涨6.6倍，基元数少12%，误差被瓣吃掉、不再驱动致密化。
相对3DGS大约0.6 dB的标准榜增益是渐进的。更关键的是结构：抗锯齿、散焦重对焦、鱼眼、折射，在三维锚定方法里各自要重建渲染器，在LFP里是对同一射线表示的小改动。做新视角、又经常碰到分辨率切换、浅景深、鱼眼或玻璃的人，这条路比给3DGS各挂一个专用模块干净。没有显式表面，帧率还没追上3DGS。
LFP记的是射线，不记录物质，表示里没有表面，需要显式几何的任务用不了。图集法向在训练前由拍摄相机定死，基元不换图集，覆盖跟着采集走，不跟着内容走；跨图集排序还要退回相机系深度。
透明场景23.66对23.37，论文也承认折射远没解决。散焦上专用方法仍略高。闭式光圈近似会让整帧偏暗，细亮结构能掉约三分之一亮度。图集法向一学就互相抵消，大外推视角可能先露馅。无位姿或前馈重建没有验证。