RLSplat: Resource-Linear Budget Control for Feed-forward 3D Gaussian Splatting
Injae Kim, Minseok Joo, Jihwan Park, Sehyung Kim, Minseong Bae, Hyunwoo J. Kim
cs.CV, cs.AI
2026-10-20
RLSplat 按区域分配预算，只生成恰好 B 个高斯。ACID 零样本各档 PSNR 都高于 F4 Splat，四分之一数量仍领先，2K 预算速度约为对方的 4.1 倍、峰值显存约为 1/9.6。
前馈三维高斯（FF3DGS）一次前向就从图像预测出高斯，不用逐场景优化几分钟到几小时。点数却不听使唤。按像素固定撒点，重叠视角会堆出冗余；C3G、GlobalSplat 把点数写死在结构里，换预算只能重训。
EcoSplat 先按像素预测，再留不透明度最高的 B 个。F4 Splat 在多尺度上预测再挑选 B 个。文件体积可控，生成成本不可控：两者都先造出远大于 B 的候选再删，延迟和峰值显存几乎不随预算下降。
RLSplat 把高斯数、推理延迟和峰值显存绑在同一个预算上，三者随 B 一起下降。工作来自 KAIST 与 Korea University。
输入是若干张未标定图和预算 B。几何骨干估计相机，并把图像收成锚点 token，每个锚点是一块局部三维区域。高斯只从锚点长出。
每个锚点预测一个比例，按多项分布采样成总和为 B 的整数。分配不可导，奖励用新视角的 MSE 与 LPIPS 损失取负，再用 GSPO 做组内相对更新：重要性比率按整段分配计算并裁剪。推理时把期望计数直接收成整数。
解码只碰这 B 个高斯。先预测初始属性，再用局部交叉注意力修正。全体自注意力是平方开销；这里每个高斯只看 16 个近邻，开销与 B 成正比。近邻分两级找：先在锚点质心里取 16 个邻近锚点，再只在这些锚点的高斯中找最近的 16 个。位置用初始中心、只算一次。
高斯若漂出父锚点的邻域，两级搜索就会找错人。Voronoi 损失把初始中心拉向自己的锚点质心，偏移损失把残差位移限制在局部锚点间距的一半以内。投影损失再把高斯拴回来源图像块，并惩罚落到相机背后的点。没有投影损失，训练直接失败。
训练两段：4 万步随机分配，预算区间从 2048 到 16384 乘以视角数；再 5000 步学策略，从均匀分布起步，低预算抽得更密。基础阶段没有参考策略，所以不加 KL。
在 RealEstate10K 上训练，零样本测 ACID 的 249 个航拍场景，分辨率 256×256。延迟和峰值显存只计高斯生成，不含读图、对齐和渲染，单卡 RTX A6000。表中 1K = 1024，预算按每张上下文图计。
| 方法（8 视角） | PSNR↑ | SSIM↑ | LPIPS↓ |
| EcoSplat，4K/图（32K） | 23.29 | 0.669 | 0.300 |
| F4 Splat，4K/图（32K） | 24.50 | 0.718 | 0.240 |
| RLSplat，4K/图（32K） | 25.24 | 0.756 | 0.211 |
| EcoSplat，1K/图（8K） | 18.99 | 0.533 | 0.456 |
| F4 Splat，1K/图（8K） | 23.61 | 0.664 | 0.307 |
| RLSplat，1K/图（8K） | 24.82 | 0.734 | 0.254 |
8 视角上，对 F4 Splat 的 PSNR 优势从 4K/图的 0.74 dB 扩到 2K/图的 0.99 dB，1K/图论文记为 1.22 dB。1K/图的 24.82 dB 已经高于对方 4K/图的 24.50 dB，高斯数只有四分之一。16 与 24 视角也是预算越紧、优势越大。
不能指定点数的方法更费高斯。24 视角下 RLSplat 用 24K 高斯得到 25.58 dB，SPFSplat 用 1536K 得到 25.00 dB，数量只有对方的 1/64。8 视角下 NoPoSplat 与 SPFSplat 各 512K（22.84 与 24.89 dB），AnySplat 为 470K（23.30 dB），RLSplat 用 32K 得到 25.24 dB。
图 1 的 2K 预算点上，PSNR 比 F4 Splat 高 0.9 dB，峰值显存少 9.6 倍，生成速度是对方的 4.1 倍。对照方法的延迟几乎不随预算变。65536 个高斯时，分层搜索 8.1 ms，全量搜索 219.6 ms；端到端生成从 595.0 ms 降到 388.0 ms。Voronoi 损失开着时，99.0% 的近邻与精确搜索一致，关掉后只剩 60.2%。
RE10K 上总预算 8K 的楼梯：细结构处 EcoSplat 2521 个高斯、局部 17.79 dB，F4 Splat 3026 个、20.00 dB，RLSplat 5388 个、23.51 dB。整图是 21.82、23.42、26.51 dB。
缩短日程的架构消融（同样 8 视角、总预算 8192）里，完整模型 22.84 dB。去掉偏移损失掉 0.53 dB，再去掉 Voronoi 掉到 20.33 dB。去掉局部细化掉 0.96 dB。去掉投影损失掉到 5.80 dB。分配对比用完整基础模型微调：均匀 24.53 dB，Sobel 边缘启发式 24.76 dB，策略 24.83 dB。平均只多 0.07 dB。单个场景里，策略把平墙从 165 个高斯减到 79 个，纹理地面从 84 加到 116 个，整图从 23.36 升到 25.32 dB。近邻个数可以推理时改，不必重训。
现建三维时，先不够用的是生成这一步的显存和延迟。只压缩最终高斯数，小预算和大预算的推理开销几乎一样，旋钮是空的。RLSplat 让同一个 B 同时决定表示体积和生成成本。低预算处速度大约是对照的 4 倍，峰值显存少将近一个数量级，可调预算的方法里画质每档最高。
近邻个数能在推理时改，按设备档位切预算，不用为每个档位重训。AR、机器人和三维视觉语言模型要的现建表示，都是这个用法。
GSPO 相对边缘启发式平均只多 0.07 dB。主体收益来自直接生成恰好 B 个高斯，并把它们留在分层搜索看得见的邻域里。
主结果是室内视频零样本到航拍，分辨率锁在 256×256。RealEstate10K 同分布测试没有同规格总表，室内能拉开多少，论文没有钉住。
4.1 倍和 9.6 倍只统计高斯生成，渲染被排除。高斯变少后渲染通常更快，但看到一帧的端到端延迟没有单独给出。
几何骨干是现成的，相机和锚点误差不在消融里。位移被限制在局部间距的一半以内，初始中心一旦偏出邻域，分层搜索会找错近邻。同时期的 ZipSplat 没有实验对照。机器人等下游任务没有实验。多组采样的训练开销也没有和基线比过。
边缘启发式已到 24.76 dB，策略 24.83 dB。只求非均匀分配时，这条规则可能拿走大部分画质，速度和显存却没进主表。