Does Native 3D Texture Generation Necessarily Require 3D Assets for Training?
Jiangshan Wang, Zeqiang Lai, Jiayi Guo, Xin Yang, Xin Huang, Jiarui Chen, Ziheng Ouyang, Chunchao Guo, Xiangyu Yue
cs.CV
2026-09-28
把 2D 图切成 16 块随机旋转拼成 3D 训练样本,VAE 与 DiT 全程只用 1110 万张图片训练,贴图生成 PSNR 35.3,超过 3D 资产训练的 NaTex(27.5)。
原生 3D 贴图生成(native 3D texture generation)直接在 3D 表面上逐点预测颜色,输入是目标几何加一组多视角参考图。老路线先生成多视角 2D 图,再投影、融合、烘焙到几何上,多阶段管线会累积投影误差和跨视角不一致;原生路线绕开这些误差,代价是训练依赖大规模带贴图的 3D 资产。这类数据采集贵、存量少,是 3D 生成公认的扩展瓶颈。
切入点是个结构性观察:2D 图像和 3D 贴图是同一类数据,都是「给空间位置分配颜色」,区别只是位置落在平面还是曲面。高质量 2D 图几乎无限,那图片能不能直接变成 3D 贴图训练的有效样本?
Tex-Zero 的答案是可以,VAE(把颜色压进隐空间的自动编码器)和 DiT(Transformer 骨干的扩散模型)全程只用图片训练。核心判断:训练样本里真正不可缺少的是高质量、细粒度的颜色信息;几何不那么关键,可以手工构造,不必来自语义完整的真实 3D 资产。
数据构造四步:
Tex-Zero VAE 把 FLUX VAE 的稠密 2D 操作换成稀疏 3D 操作。训练必须先热身:整张平面只做随机旋转、不切块,直接上完整管线 VAE 根本不收敛。损失是逐点颜色重建、感知损失(把 patch 变换逆回去拼回原图算 LPIPS)加 KL 正则。副产品很关键:这个 VAE 能高保真重建「表示成 3D 平面的 2D 图」,而 3D 资产训练的 VAE 做这件事会糊掉。于是多视角参考图和目标贴图共用同一个 VAE,落进同一个隐空间,条件注入的表示鸿沟被压掉。
Tex-Zero DiT 用 FLUX 的 MMDiT 骨干,flow matching 目标(网络直接回归从噪声指向数据的速度场)。六个标准视角的参考图各自变成按视角朝向摆放的 3D 平面,由冻结的 Tex-Zero VAE 编码拼成条件序列;几何用表面法线沿通道拼接;位置编码是四维 RoPE,一维标记 token 属于目标贴图还是六个视角,三维是隐空间网格坐标。训练每步随机抽视角数量和组合,条件随机 dropout 以支持 classifier-free guidance。构造数据里 patch 会互相遮挡,模型必须从可见内容推断被挡区域,等于天然的 outpainting 式训练,推理时正好对应真实资产上的遮挡表面。
训练数据是 SA-1B、BLIP3o-60k、ShareGPT-4o,合计约 1110 万张图,统一 resize 到 1536×1536,全程零 3D 资产。
VAE 重建,f16c16 配置(DiT 实际使用的):
| 方法 | 训练数据 | 3D 重建 LPIPS↓ | PSNR-PC↑ | 渲染 PSNR↑ | 2D 图重建 LPIPS↓ |
| 同架构 Sparse VAE | 约 100 万 3D 资产 | 0.0345 | 30.90 | 38.97 | 0.2993 |
| Tex-Zero VAE | 仅 2D 图 | 0.0316 | 32.59 | 38.54 | 0.1792 |
从没见过 3D 资产的 VAE,重建真实资产时 LPIPS 更低、PSNR-PC 更高,渲染 PSNR 略低,2D 图重建明显更好。生成端差距拉开:
| 方法 | 前视 LPIPS↓ | 前视 PSNR↑ | 前视 SSIM↑ | 六视 LPIPS↓ | 六视 PSNR↑ |
| NaTex | 0.0669 | 27.49 | 0.947 | 0.0754 | 27.74 |
| TRELLIS.2 | 0.1187 | 21.38 | 0.900 | – | – |
| Tex-Zero | 0.0294 | 35.31 | 0.985 | 0.0340 | 35.68 |
前视条件下 PSNR 比 NaTex 高 7.82,LPIPS 不到其一半。
三个消融各说明一件事。数据构造每层都有贡献:固定平面 LPIPS 0.2160,整面随机旋转降到 0.1107,4 块旋转 0.0591,加聚合 0.0513,16 块加聚合 0.0355。条件编码方式决定细节保真:DINO 编码 0.1228,独立 VAE 0.0838,3D 训练的共享 VAE 0.0835,图片训练的统一 VAE 最好,0.0481。手里有 3D 资产时混入 2D 图仍涨点:VAE LPIPS 从 0.0343 降到 0.0140,DiT 从 0.0302 降到 0.0216。
3D 数据稀缺卡住的是 scaling。如果颜色和几何的配对可以人工构造,贴图模型的数据供给就从「攒 3D 资产」切换成「攒图」,互联网级 2D 数据直接可用。混合训练的结果说明这不是没数据时的替代品,有 3D 资产的团队加图照样受益。
统一 2D-3D 隐空间顺带解决了条件注入的老问题:用图像编码器或 3D VAE 编码参考图,细粒度细节在进 DiT 之前就丢了。合成数据训练在 3D 重建侧已有先例(LRM-Zero、MegaSynth、VFusion3D),这篇把它推进到原生贴图生成,对做 3D 生成的团队是数据策略级别的结论。代码已开源。
正文没有单列局限小节,以下是读出来的问题。构造数据里没有任何语义完整的物体几何,模型全程没见过「一整个物体」,能泛化到真实资产靠的是局部朝向和遮挡模式的覆盖;为什么这个覆盖够用,作者把分析放在附录,正文只有消融证据。同架构对照用约 100 万内部 3D 资产,对 1110 万张 2D 图,数量差一个量级,生成端的领先有多少来自范式、多少来自数据量,拆不开。NaTex 和 TRELLIS.2 是否在同等算力下训练未说明,TRELLIS.2 还缺六视角数字。VAE 重建也非全胜,f8c16 下 PSNR 42.41 低于 3D 训练版的 44.71,赢的主要是 LPIPS。消融只训 20K steps,排序在完整训练下是否保持没有验证。评测是对着 ground-truth 渲染图的参考型指标,评测集细节在附录。任务边界也要看清:输入是几何加多视角参考图,输出是表面颜色,不涉及文本驱动贴图和材质、光照语义。