NeuOctree:28组里24组位置误差最低,前馈50毫秒

Neural Explicit Shape Representation

Jun-Hao Wang, Changan Lu, Baoquan Chen, Peng-Shuai Wang

cs.GR

2026-10-28

NeuOctree用八叉树角点特征直接预测光线交点、法线与反照率,28组里24组位置误差最低,前馈50毫秒即可建成资产。

这篇在解决什么

光线追踪要交点、法线和材质。SDF、占用场和 NeRF 把表面藏进标量场,还得沿光线求值,或抽出网格再烘焙贴图。N-BVH 和 NGF(Neural Geometry Fields)能直接预测交点,但每个资产单独拟合,没有一块能让网络跨物体预测的结构化输出。

北京大学这篇 NeuOctree 用稀疏八叉树角点特征同时承担这两件事:特征表可以按物体优化,也可以由共享网络一次前向写好。解码器直接给出命中、位置、法线和反照率。

方法

占据叶子上的八个角点存特征,相邻体素共用角点,三线性插值得到连续场。光线在体素内的一段交给全体素共享的轻量 MLP:几何支输出命中 logit、沿光线的交点参数和法线,材质支输出反照率。预测目标是交点,不建密度等值面,也不打内外标签,开口、非水密表面都能放。

只在边界取样,点往往离表面远,而且同一表面点换视角后边界位置会变。循环采样把上一次交点投回光线,作为下一次查特征的位置。压缩实验的 pooled 变体含入点、出点和三次自适应查询,一段五次读取,后面的查询贴向表面。

渲染从前到后检查占据叶子,命中概率过阈值即收下,空区跳过。法线和反照率进入普通光线追踪积分器,重光照、反射、折射和鱼眼都不抽网格、不烘焙贴图。

逐物体路径优化顶点特征。前馈路径用八叉树 U-Net 为每个占据体素预测八个角点槽,共享顶点取平均。附录中的报告模型输入是深度 9 网格占据(颜色来自八张反照率渲染)与 20 万点的并集,查询深度 7。图像条件生成用稀疏八叉树 VAE 把场压到 8³,再由约 0.7B 的 flow-matching DiT 预测占据和潜特征,训练数据为 5000 个 ShapeNet 物体、十个类别。论文未做外部生成系统的定量对比。

结果

七个网格、四档存储(81、122、244、823 KiB)、16 个 512×512 机位。dpm 是归一化坐标交点误差乘 10³(最长边归到 2),dnorm 是法线夹角(度)。对照 NGF、QNDF(量化位移场)、VQAD 和 N-BVH。28 组里 NeuOctree 有 24 组 dpm 最低:81 到 244 KiB 共 21 组全胜,823 KiB 胜 3 组,另外 4 组是 QNDF。法线只胜 12 组,小档上 NGF 经常更好。

外观在 Objaverse、ShapeNet 各 30 个资产上测:

数据方法dpmdnormPSNR
ObjaverseN-BVH 823 KiB56.23511.84223.641
ObjaverseVQAD ≤823 KiB15.7774.98932.568
Objaverse逐物体2.2923.10433.682
Objaverse前馈4.5506.70628.539
ShapeNetN-BVH 823 KiB54.28412.56717.375
ShapeNetVQAD ≤823 KiB39.12611.96925.548
ShapeNet逐物体1.6288.06434.877
ShapeNet前馈5.9695.22927.834

逐物体版本在两边的三个指标上都最好。相对 VQAD,Objaverse 的 dpm、dnorm 下降 85.5% 和 37.8%,PSNR 高 1.11 dB。ShapeNet 是 95.8%、32.6% 和 9.33 dB。前馈模型在 Objaverse 上 dpm 更低(4.550 对 15.777),法线和 PSNR 仍不如 VQAD。零样本转到 ShapeNet 后三项都超过逐物体优化的 VQAD 与 N-BVH。ShapeNet 上前馈法线为 5.229°,低于逐物体拟合的 8.064°,位置和 PSNR 仍是拟合更好。

论文给出的降幅,是相对均匀采样 7.7% 和 9.4%,相对端点采样 12.0% 和 17.0%。表 4 的读数是循环 2.797 / 6.475°,均匀 3.036 / 7.102°,端点 3.178 / 7.798°。823 KiB 的开口玻璃板上,双侧深度中位间隔与真值同为 0,VQAD 为 0.059 个世界单位。

拟合时间按七网格平均:N-BVH 约 3.1 到 3.7 分钟,NeuOctree 用两张 RTX 4090 要 28.2 到 37.7 分钟。前馈构建 50 毫秒。训练一次覆盖 32k 个 Objaverse 资产,主文写 19.5 小时(八卡折算),附录四张 RTX 3090 约 50.6 小时,深度 9 占据缓存另约 5.2 小时、91 GB。共享权重 3688.8 万参数,不算进单物体体积。

为什么重要

一种表示同时能被网络预测、又能回答光线交点,压缩和生成才能共用渲染器。和 N-BVH 的差距在前馈:单物体大约 3.5 分钟,共享检查点 50 毫秒出结果,不用重训就在 ShapeNet 上超过逐物体拟合的 VQAD 和 N-BVH。逐物体压缩本身是渐进的,小档位置误差领先,最大档有四组输给 QNDF,拟合也更慢。光线效果和生成图只说明接口通,生成没有外部对照数字。

局限与存疑

论文自己写明:高保真逐物体拟合仍贵,只建模反照率,没有视角相关材质,生成停留在概念验证。

榜单也小。几何七个网格,外观各 30 个资产,开口表面只一块玻璃。计时不同卡也不同步数,NeuOctree 两张 4090,基线一张。前馈输入包含网格占据和八张渲染反照率,查询之前物体已经是网格,不是任意扫描点云。带体素特征时七个参考物体占 381 到 1674 KiB,平均 806 KiB,前馈资产不一定落在 823 KiB 对比档内。没有光线追踪帧率,也没有和 3D Gaussian Splatting 或网格编码比速度。VQAD 被改成同一套几何监督,NGF 的数用统一 16 视角重算,不是原论文留出视角。

术语

原文与代码

社区讨论

相关论文

全部论文解读