Neural Explicit Shape Representation
Jun-Hao Wang, Changan Lu, Baoquan Chen, Peng-Shuai Wang
cs.GR
2026-10-28
NeuOctree用八叉树角点特征直接预测光线交点、法线与反照率,28组里24组位置误差最低,前馈50毫秒即可建成资产。
光线追踪要交点、法线和材质。SDF、占用场和 NeRF 把表面藏进标量场,还得沿光线求值,或抽出网格再烘焙贴图。N-BVH 和 NGF(Neural Geometry Fields)能直接预测交点,但每个资产单独拟合,没有一块能让网络跨物体预测的结构化输出。
北京大学这篇 NeuOctree 用稀疏八叉树角点特征同时承担这两件事:特征表可以按物体优化,也可以由共享网络一次前向写好。解码器直接给出命中、位置、法线和反照率。
占据叶子上的八个角点存特征,相邻体素共用角点,三线性插值得到连续场。光线在体素内的一段交给全体素共享的轻量 MLP:几何支输出命中 logit、沿光线的交点参数和法线,材质支输出反照率。预测目标是交点,不建密度等值面,也不打内外标签,开口、非水密表面都能放。
只在边界取样,点往往离表面远,而且同一表面点换视角后边界位置会变。循环采样把上一次交点投回光线,作为下一次查特征的位置。压缩实验的 pooled 变体含入点、出点和三次自适应查询,一段五次读取,后面的查询贴向表面。
渲染从前到后检查占据叶子,命中概率过阈值即收下,空区跳过。法线和反照率进入普通光线追踪积分器,重光照、反射、折射和鱼眼都不抽网格、不烘焙贴图。
逐物体路径优化顶点特征。前馈路径用八叉树 U-Net 为每个占据体素预测八个角点槽,共享顶点取平均。附录中的报告模型输入是深度 9 网格占据(颜色来自八张反照率渲染)与 20 万点的并集,查询深度 7。图像条件生成用稀疏八叉树 VAE 把场压到 8³,再由约 0.7B 的 flow-matching DiT 预测占据和潜特征,训练数据为 5000 个 ShapeNet 物体、十个类别。论文未做外部生成系统的定量对比。
七个网格、四档存储(81、122、244、823 KiB)、16 个 512×512 机位。dpm 是归一化坐标交点误差乘 10³(最长边归到 2),dnorm 是法线夹角(度)。对照 NGF、QNDF(量化位移场)、VQAD 和 N-BVH。28 组里 NeuOctree 有 24 组 dpm 最低:81 到 244 KiB 共 21 组全胜,823 KiB 胜 3 组,另外 4 组是 QNDF。法线只胜 12 组,小档上 NGF 经常更好。
外观在 Objaverse、ShapeNet 各 30 个资产上测:
| 数据 | 方法 | dpm | dnorm | PSNR |
| Objaverse | N-BVH 823 KiB | 56.235 | 11.842 | 23.641 |
| Objaverse | VQAD ≤823 KiB | 15.777 | 4.989 | 32.568 |
| Objaverse | 逐物体 | 2.292 | 3.104 | 33.682 |
| Objaverse | 前馈 | 4.550 | 6.706 | 28.539 |
| ShapeNet | N-BVH 823 KiB | 54.284 | 12.567 | 17.375 |
| ShapeNet | VQAD ≤823 KiB | 39.126 | 11.969 | 25.548 |
| ShapeNet | 逐物体 | 1.628 | 8.064 | 34.877 |
| ShapeNet | 前馈 | 5.969 | 5.229 | 27.834 |
逐物体版本在两边的三个指标上都最好。相对 VQAD,Objaverse 的 dpm、dnorm 下降 85.5% 和 37.8%,PSNR 高 1.11 dB。ShapeNet 是 95.8%、32.6% 和 9.33 dB。前馈模型在 Objaverse 上 dpm 更低(4.550 对 15.777),法线和 PSNR 仍不如 VQAD。零样本转到 ShapeNet 后三项都超过逐物体优化的 VQAD 与 N-BVH。ShapeNet 上前馈法线为 5.229°,低于逐物体拟合的 8.064°,位置和 PSNR 仍是拟合更好。
论文给出的降幅,是相对均匀采样 7.7% 和 9.4%,相对端点采样 12.0% 和 17.0%。表 4 的读数是循环 2.797 / 6.475°,均匀 3.036 / 7.102°,端点 3.178 / 7.798°。823 KiB 的开口玻璃板上,双侧深度中位间隔与真值同为 0,VQAD 为 0.059 个世界单位。
拟合时间按七网格平均:N-BVH 约 3.1 到 3.7 分钟,NeuOctree 用两张 RTX 4090 要 28.2 到 37.7 分钟。前馈构建 50 毫秒。训练一次覆盖 32k 个 Objaverse 资产,主文写 19.5 小时(八卡折算),附录四张 RTX 3090 约 50.6 小时,深度 9 占据缓存另约 5.2 小时、91 GB。共享权重 3688.8 万参数,不算进单物体体积。
一种表示同时能被网络预测、又能回答光线交点,压缩和生成才能共用渲染器。和 N-BVH 的差距在前馈:单物体大约 3.5 分钟,共享检查点 50 毫秒出结果,不用重训就在 ShapeNet 上超过逐物体拟合的 VQAD 和 N-BVH。逐物体压缩本身是渐进的,小档位置误差领先,最大档有四组输给 QNDF,拟合也更慢。光线效果和生成图只说明接口通,生成没有外部对照数字。
论文自己写明:高保真逐物体拟合仍贵,只建模反照率,没有视角相关材质,生成停留在概念验证。
榜单也小。几何七个网格,外观各 30 个资产,开口表面只一块玻璃。计时不同卡也不同步数,NeuOctree 两张 4090,基线一张。前馈输入包含网格占据和八张渲染反照率,查询之前物体已经是网格,不是任意扫描点云。带体素特征时七个参考物体占 381 到 1674 KiB,平均 806 KiB,前馈资产不一定落在 823 KiB 对比档内。没有光线追踪帧率,也没有和 3D Gaussian Splatting 或网格编码比速度。VQAD 被改成同一套几何监督,NGF 的数用统一 16 视角重算,不是原论文留出视角。