阿里推出 TaoTex:扩散模型生成原生 3D 材质,细节超越 TRELLIS
jiqizhixin · x · 2026-11-20
阿里巴巴研究团队在 arXiv 预印本中发布 TaoTex,一个面向原生 3D 材质生成的扩散模型,解决平面 3D 表面(如包装文字)在纯几何信息下难以还原可读纹理的问题。
核心做法
- 数据构建 agent:自动生成带高频纹理(文字、图案)的资产,弥补公开数据集在这类细节上的不足;流程用 MLLM 写 Blender 脚本、渲染并审查迭代,再用 IGM 生成 UV 纹理,MLLM 检查质量与对齐。
- 特征与损失设计:结合局部与全局图像特征(DINO 多层融合 + 可学习视角嵌入,支持多视角输入);训练损失从潜空间转向像素空间,减少压缩导致的细节丢失。
结果:在 30 个纹理丰富的 TexVerse 物体上,单视角条件下 albedo PSNR 达 25.15 dB,显著高于 TRELLIS.2 的 21.92 dB(两者均使用 ground-truth 几何);论文另对四视角条件做了单独评测。
「多模态」频道最新
- AI 博主晒 Bora Bora 与鲨鱼同游照片,逼真到难辨真假 — AlchainHust · 2026-11-20
- Genie 4 实时生成无限乒乓对打,世界模型 demo 惊艳全场 — PurzBeats · 2026-11-20
- 开源 Guaardvark 3.6:一块 16GB 显卡离线全自动生成完整 MV — llama-of-death · 2026-11-20
- Genie 4 demo 合集续:等单通过后 30 秒生成可玩世界并实时迭代 — iamfakhrealam · 2026-11-20
- Genie 4 demo:古埃及《图坦卡蒙:拉之沙》可交互世界 — iamfakhrealam · 2026-11-20
- Genie 4 demo:20 秒霓虹迈阿密追逐,24fps 实时生成带立体声 — iamfakhrealam · 2026-11-20