光滑罐身缺少可对齐的棱角,阿里 TaoTex 靠五万高频资产把单视图 PSNR 做到 25.15

TaoTex: Boosting Texture Detail Fidelity for Native 3D Material Generation

Xiuchao Wu, Shuichang Lai, Jiangjing Lyu, Chengfei Lyu

cs.CV

2026-09-28

TaoTex 在给定网格上生成 albedo、粗糙度与金属度。五万高频合成资产加上多层特征融合后,单视图 albedo 的 PSNR 从 TRELLIS.2 的 21.92 升至 25.15,LPIPS 从 0.096 降至 0.049。

这篇在解决什么

image-to-3D 的外形已经可用,贴图仍然不稳。罐子、盒子、衣服缺少棱角,几何给不出图案该落在哪,文字和 logo 就容易碎、飘到错的一面。

视图空间方法借用二维扩散先验,把多视角图烘到网格上。重叠处出鬼影,自遮挡得在 UV 里补,深度边界还会投影错位。原生 3D 直接在与几何对齐的空间里生成外观,全局一致,也不怕自己挡住自己。TRELLIS 的 SLAT(结构化潜变量,把形状和外观压进同一套三维潜空间)同时装几何和纹理,NaTex 把结构与颜色拆开,光滑表面上仍然贴不准。公开数据缺少高频纹理,条件特征偏语义,三维 VAE 的压缩又吃掉像素级细节。多视图要么不支持,要么一对齐就乱。

TaoTex 因此把任务收窄:几何给定,一张到四张图,输出 PBR 的 albedo、roughness、metallic。

方法

骨架是 TRELLIS.2 的 o-voxel,一种与空间对齐的稀疏体素潜变量。几何编码器提供结构潜变量,扩散 Transformer 用 v-prediction 去噪,材质解码器输出 PBR 网格。

高频数据靠建造智能体。Qwen-3.8 写 Blender 脚本生成罐头、杯子、盒子,渲染后自行改代码,通过就展 UV。Qwen-Image-3.0-Pro 按 UV 遮罩画文字和图案,再查锐度与边界,然后绑上粗糙度和金属度,得到 HFT 资产。网格种类并不多:先固定一批简单形体,再铺大量贴图。纹和 UV 对不齐也照样拿去训练。HFT 为 5 万,加上筛过的 Objaverse-XL 50 万、TexVerse 30 万。每条资产以 1024 分辨率、随机视场和光照渲染 16 个视角。

DINOv2 只取深层视觉特征时,小字会被洗掉。MLFF 抽取第 4、11、17、23 层,投影后拼通道,用通道注意力重加权,压回通道维并加上各层均值残差,再配可学习的 patch 位置编码。

优化分两段,各 10 万步。先在潜空间回归 v;再解码成网格,渲出三个材质通道,用 L1、SSIM、LPIPS 做监督。与输入同视角的权重为 1.0、0.2、0.2;另外 2 个新视角改为 0.2、0.2、1.0。材质 VAE 在 16 张 H20 上微调后冻住,DiT 以 batch 16、学习率 1e-4 训练,单视图和多视图交替。

多视图若只拼接 token,贴图会碎,也会贴错面。每个视角加上可学习嵌入,对应前、后、左、右,水平覆盖 90 度,垂直仰角覆盖 180 度,最多四张,推理时固定。训练集里大量圆柱和方盒使各视角外形几乎相同,模型无法靠形状猜机位。时间步按均值 2、标准差 1 的 logit-normal 偏向低信噪比,让接近纯噪声的早期步骤学会跨视图定位。

结果

定量评测从 TexVerse 取 30 个富纹理物体,除 ReconViaGen 外都使用真值几何。

单视图、条件视角的 albedo:

方法PSNR↑SSIM↑LPIPS↓
MaterialMVP18.900.8300.160
UniTEX21.840.8730.101
Ink3D19.390.8370.155
TRELLIS.221.920.8790.096
TaoTex25.150.9140.049

同设定的完整渲染 PSNR,TaoTex 26.52,TRELLIS.2 23.46,UniTEX 22.81。新视角 albedo 的 FID 为 96.90,对照 TRELLIS.2 的 113.86、Ink3D 的 143.89;渲染 FID 为 77.66,对照 87.69。CLIP-I 几乎持平:新视角 albedo 上 0.9096 对 0.9063。

四视图 albedo 的 PSNR,TaoTex 25.48,MaterialMVP 20.18,TRELLIS.2 19.91。TRELLIS.2 低于自己的单视图 21.92;MaterialMVP 从 18.90 升到 20.18,仍落后约 5 dB。TRELLIS.2 在去噪中途切换条件图,圆柱体上经常把字贴错面。ReconViaGen 靠 VGGT 特征同时出几何和纹理,位置大致对,细节发糊。

四视图消融的 albedo PSNR:去掉 HFT 为 22.90,去掉 MLFF 为 23.40,去掉视角嵌入为 24.47,去掉像素空间损失为 24.61,完整模型 25.48。没有 HFT 时文字不可读;只做潜空间损失时,放大后的小字变形。

与 Rodin Gen2.5、Tripo v3.1、混元 v3.1 的对比只有定性,且 TaoTex 使用 Rodin 的几何。对称药瓶和花瓶上,商业结果常见错位与鬼影。几何不统一,不能当成公平排名。

为什么重要

网格常常先有,缺的是读得清的包装文字、织物图案和分开的 PBR 通道。单张图可以先跑,四张图用来约束对称物体。相对 TRELLIS.2,单视图 albedo 的 PSNR 高约 3.2 dB,LPIPS 从 0.096 降到 0.049。四视图差距超过 5 dB,而且 TRELLIS.2 比单视图时更差。

这仍是给定几何后的材质生成,不负责出形状,评测也喂了真值网格。幅度够用,范围就这么大。

局限与存疑

更小的文字和图案受体素分辨率限制,提高分辨率则显存不够,这是论文自己写明的。

30 个测试样本来自 TexVerse,训练集又包含 30 万条 TexVerse 资产,是否留出没有说明。有重叠的话,PSNR 会偏高。HFT 依赖罐头、盒子这类好展 UV 的简单拓扑,复杂服装没有测。视角嵌入只覆盖四个标准机位。低信噪比采样、对称几何和嵌入绑在一起训,消融没有拆开。

新视角 CLIP-I 只比 TRELLIS.2 高约 0.003。在意身份一致性、不在意逐像素误差时,领先会小很多。

术语

原文与代码

社区讨论

相关论文

全部论文解读