Block3D: Efficient Text-to-3D Generation via Block-Wise Diffusion
Bowen Cui, Weijie Wang, Zeyu Zhang, Yefei He, Mingda Lin, Haoyu Zhao, Yuanyu He, Donny Y. Chen, Feng Chen, Bohan Zhuang
cs.CV
2026-08-20
浙大ZIP Lab把Cube的逐token自回归改成块内并行去噪，再按置信度改错。100个留出物体上，端到端从25.71秒降到4.99秒，Chamfer-L1从0.094降到0.078。
文生 3D 卡在同一对矛盾上。自回归按形状 token 一个一个吐，序列一长就慢，吐出去的码也不能改。扩散或流匹配可以并行，却要在整段表征上反复扫，分辨率一高，每步都更贵。浙大 ZIP Lab 联合莫纳什和阿德莱德，把因果依赖从「单个码」上移到「连续的一块码」，想同时保住几何、压住延迟。
表征沿用冻结的 Cube VQ：每个网格压成 N=1024 个码，码本大小 16384，解码器也冻住。文本条件来自冻结 CLIP ViT-L/14 的 77 个 token。只微调 Cube 那套 23 层 DualStream RoFormer 作为先验。
1024 个位置切成块。默认块长 B=64，一共 16 块，从左到右生成。当前块一开始全是 mask，块内双向注意，已经提交的前缀只做因果注意，未来块不进序列。块内最多 T=4 步，每一步做两件事：把高置信 mask 填成码（M2T），把已经填了但模型更想改的码换掉（T2T）。置信阈值分别是 0.95 和 0.9。每步还有一个确定性配额，保证 4 步之内 mask 清零。分类器无关引导从 3.0 线性降到 0.75，候选用引导 logits 提出，接不接受看条件分支的 softmax，避免 CFG 把置信度本身抬高。
训练时每个样本随机走 mask 流或替换流，残差率在 0.45 到 0.95 之间。先无梯度 rollout 一步，再只对 rollout 之后仍不等于真值的位置做交叉熵。已提交的块训练时也是教师强制，推理时是模型自己生成的前缀，曝光偏差还在，只是被限制在块与块之间。
评测是 TRELLIS-500K 里随机留出的 100 个物体，微调池剔除这 100 个，在 30 万物体上训 3.5 万步。几何采 8192 个表面点。延迟在一张 A100 80GB 上从条件编码计到网格解码。
| 方法 | CD-L1↓ | NC↑ | F@1%↑ | CLIP | 均值耗时 |
| ShapeLLM-Omni | 0.229 | 0.490 | 0.089 | 19.08 | 36.89s |
| TRELLIS-text | 0.222 | 0.496 | 0.090 | 20.41 | 11.65s |
| Cube | 0.094 | 0.632 | 0.219 | 23.87 | 25.71s |
| Block3D | 0.078 | 0.668 | 0.309 | 23.24 | 4.99s |
相对单独微调的 Cube，均值耗时从 25.71 秒到 4.99 秒，5.15 倍；中位数和 P90 一起降，标准差从 0.80 收到 0.43。几何三项全过 Cube，CLIPScore 从 23.87 掉到 23.24，文形对齐略退一步。
块长是质量和速度的主旋钮。B=32 要 12.98 秒，F@1% 0.296；B=64 是选定点；B=96 只要 3.62 秒，F@1% 掉到 0.279；B=256 快到 2.15 秒，F@1% 只剩 0.103。去噪步数从 4 加到 20，时间涨到 13.66 秒，F@1% 还略低于 4 步。T2T 把 F@1% 从仅 M2T 的 0.287 拉到 0.309。
这是把语言模型里的 block diffusion 和可编辑离散去噪，接到固定长度 3D 码上的工程组合，不是新的几何表示。对已经在用 Cube 码的人，改先验就能把端到端从半分钟级打到约 5 秒，几何还更好。CLIP 略降说明加速优先保了形状，提示对齐没有一起涨。
默认最多 80 次 batched 前向（含 CFG 则 160 次逻辑分支），相对 Cube 的 1024 次逐 token 前向，调度优势写在纸面上，最终数字以测到的 4.99 秒为准。
提交过的块不能重开，块间曝光偏差还在。块是按 Cube 的一维码序切的，不是语义零件，和 PartDiffuser 那种按部件去噪不是一类。评测只有 100 个物体、每条 prompt 一次生成，没有多样性统计。Cube 对照共享了冻结组件和训练预算，TRELLIS-text、ShapeLLM-Omni、AR3D-R1 用的是官方推理设置，不在同一微调预算里。CLIP 低于 Cube，文形对齐不是免费附赠。