LATO.2: Factorized 3D Mesh Generation with Vertex and Topology Flow
Hang Long, Tianhao Zhao, Junkai Lin, Youjia Zhang, Huipeng Guo, Rendong Liang, Jiale Xu, Jozef Hladký, Matthias Nießner, Yuanming Hu, Wei Yang
cs.GR, cs.CV
2026-07-12
LATO.2 把显式网格拆成先采样顶点、再按顶点连边的两段流,在主表上点云条件 CD(L2) 降到 0.0407,Hausdorff 比上一代 LATO 低约 11%,分部件可堆到约 2.4 万面。
能绑骨、能变形的网格,顶点要跟着形状疏密分布,边和面得连干净。VecSet 和结构化潜空间先出神经场或体素,再靠 Marching Cubes 抽表面,面又密又乱,连接不在生成目标里。
难处在表示:顶点坐标连续,连接是离散组合,顶点个数还不固定。自回归把面切成 token 逐个预测,布线干净,序列一长就训不起。Flow matching 改到连续空间里并行采样,更快,也更好贴住图像或点云。LATO 和 MeshFlow 走这条路,却把顶点位置和连接塞进同一个潜空间。一个流同时学坐标和组合结构,学坏了就是顶点漂移、表面破洞。
顶点先确定,连接就变成点与点的关系,写成逐顶点特征,再解成边概率。
四个模块共用一套粗体素:V-VAE、T-VAE 定潜空间,V-Flow、T-Flow 采样。
顶点不直接回归坐标。每张网格采 819,200 个表面点,带位置、法线和指向所在面顶点的位移,称为顶点位移场(VDF)。PointNet 提取后栅格到 1024³,再压成 64³、32 通道潜码。解码逐层细分,剪掉空格子,再用交叉注意力把全局潜码注回。最细层预测偏移 δ,让顶点离开格子中心。坐标无序且变长,只能先判占用,再在格内挪。
T-VAE 只看已经落下的顶点。编码器加邻接掩码,顶点只能注意自己和真实邻居。解码器取消掩码,用 MLP 对点对打边概率,正反顺序平均以保证无向。损失是非对称 focal loss 加 KL,只算真邻居、top-K 近邻和随机负样本。推理时默认全点对打分,每对一次轻量 MLP,再用环检测把边收成面。
生成分三步。图像或点云先出粗稀疏结构,这一步沿用 TRELLIS。V-Flow 是 12 层 flow matching Transformer,在有效格子上抽顶点潜码;DINOv2 特征走交叉注意力,log₂ N 走 adaLN,顶点数在推理时指定。T-Flow 的 token 绑在这些顶点上,坐标写进位置编码。粗结构用三维卷积压成上下文 cg,训练时随机丢掉,只剩一堆改过的顶点时也能重推连接。
V-VAE 约 320M 训 4 天,V-Flow 约 160M 训 7 天,T-VAE 约 180M 训 1 天,T-Flow 约 240M 训 2 天,都在 8 张 H100 上。数据约 45 万,来自 TRELLIS500K、Objaverse、Objaverse-XL、3D-FUTURE、Toys4K 和 ABO,另加 10 万程序化网格。
粗结构切成部件后,每块放大到占满 64³,出满顶点再变回原坐标,然后一起连边,或分块连完再缝。顶点平移、旋转、拼接之后只重跑 T-Flow。同期的 Nexus 也先出顶点再连边,顶点用八叉树逐层扩散,拓扑用图自编码;这里一次解码,面靠环检测。
点云条件、同一划分上的主表如下。CD 是双向平均表面距离,HD 是最大偏差。
| 方法 | 类型 | CD(L2)↓ | HD↓ | 法向一致性↑ |
| MeshAnythingV2 | 自回归 | 0.1083 | 0.2318 | 0.6946 |
| MeshRipple | 自回归 | 0.0458 | 0.0941 | 0.8174 |
| MeshFlow | Flow | 0.0455 | 0.0772 | 0.8227 |
| LATO | Flow | 0.0421 | 0.0738 | 0.8262 |
| LATO.2 | Flow | 0.0407 | 0.0657 | 0.8341 |
相对 LATO,CD(L2) 从 0.0421 降到 0.0407,约 3%;HD 从 0.0738 降到 0.0657,约 11%;法向一致性从 0.8262 到 0.8341。CD(L1) 从 0.0617 到 0.0596。MeshRipple 的 CD(L2) 为 0.0458,MeshAnythingV2 为 0.1083。平均距离只是小幅领先,最大偏差降得更明显。
V-VAE 在 1024 级量化上再加连续偏移,CD(L1) 0.0003,HD 0.0069,CD(L1) 约为 LATO(512 级,0.0038)的 1/13。去掉偏移头,占用准确率仍是 0.9752,CD(L1) 升到 0.0011。去掉高分辨率下采样,CD(L1) 0.0034,IoU 从 0.9603 掉到 0.8873。不训 10 万合成网格,占用准确率从 0.9752 掉到 0.9134。
表 3 把拓扑误差拆开。真值顶点加 T-VAE:CD(L2) 0.0351,法向一致性 0.8615。换成 T-Flow:0.0399 和 0.8199。再换成 V-Flow 的顶点:0.0407 和 0.8051。表面距离加得不多,法向主要掉在拓扑采样。去掉 cg 后 CD(L2) 0.0411,法向一致性 0.8238,完整模型是 0.0407 和 0.8341。
顶点预算从 0.2K 调到 4K,图上实际顶点大约从 231 到 4235,外形还在,这组没有 CD。分部件时 6 块 12853 面,34 块 24003 面;另一例 3 块 9963 面,21 块 24039 面。论文说确定性补边不如拓扑 flow,没有给出数字。
和 LATO 比,CD 大约只少 3%,几何指标是小步。多出来的是控制方式:拓扑流只看当前顶点,拼接和局部旋转不必整网重采样,也不必按操作写补面规则。图 4 里,直接旋转部件会把面拉变形并自交,重推交界后连接重新合上。单体 64³ 潜码有顶点上限,分部件让每块吃满容量,面数可以到大约 2.4 万。log₂ N 则把顶点数做成旋钮,论文展示的预算是 0.2K 到 4K。
论文承认三条。顶点阶段的几何误差,拓扑阶段改不了。点对打分随顶点数平方增长,更大的网格得换稀疏候选。只生成几何和连接,没有 UV、贴图和材质。
编辑、拼接、分部件都停在图上。缝合后的表面误差、自交掉了多少、接缝是不是非流形,都没有数字。部件增多面数就上去,不能说明质量跟着变好。主表是点云条件;图像特征用了 DINOv2,但没有图像到网格的数字,表 2 不能当成图像生成的结果。表 3 里全流程 CD(L2) 也是 0.0407,HD 却写成 0.1029,法向一致性 0.8051,和表 2 的 HD 0.0657、法向一致性 0.8341 对不上,口径没有说明。相对 LATO 的 CD 差距约 3%,没有显著性检验。Nexus 没有放进同一张表。图 7 文字称 T-VAE 能完美重建连接,表 3 上界的 CD(L2) 仍是 0.0351。