Procedura: Agentic 3D Modeling with Procedural Control
Youtian Lin, Yikang Yang, Zhanpeng Hu, Mengqi Zhou, Feihu Zhang, Xun Cao, Jiaheng Liu, Yao Yao
cs.CV, cs.GR
2026-08-27
南京大学用冻结LLM把物体写成带类型配合的CSG装配程序。MechBench综合分0.828,超过TRELLIS.2的0.810;锐边长度是上一档代码方法的2.6倍。
原生 3D 生成器已经能从单图恢复像样的网格,但交出去的仍是一团软边三角面。零件边界没有名字,尺寸没有参数,改一下等于重新雕表面。事后分割模型按几何切,切不出「左手食指」。LLM 写 Three.js 或 Blender 脚本能给出可编辑程序,一次拍出全部零件时又会错位、漂浮、低面数。
硬表面机器、载具、工具需要的是另一套东西:锋利棱边、按功能拆开的零件、改一个孔径另一半跟着走。网格生成器不生产这些,单次代码生成也撑不住多零件装配。
Procedura 把物体写成程序。每个零件是带名字的参数化 CSG 模块,零件之间用类型化 mate 连接。静态配合九种,包括螺栓阵列、销孔、法兰、卡扣;运动副三种:转动、移动、球铰。两半共享同一个名义尺寸 d,再加间隙/定位/过盈/卡扣的有符号偏置,改一边不会把另一边甩开。
流程分三段,底层是冻结的 Gemini 3.7 Flash,没有 3D 训练。先合成一张参考图,规划零件清单和配合图,只允许增零件、不许合并删除。然后按拓扑序一次生成一个零件:模型只写几何和配合坐标系,刚体变换由代码从配合框解出来。提交前过三道确定性门:OpenSCAD 编译、配合面接触面积与穿透深度、按包围盒跨度计的连通性。每件最多试三次,试完仍过不了就带警告留下,永不编译的跳过。
草稿再交给解耦的视觉批评家。批评家和写代码的不是同一轮对话,一次诊断只放行一次修改,诊断编辑比被代码锁在约 1:1。连通性用跨度而不是体积:薄板体积接近零,跨度却能覆盖大半个模型,体积门会放行漂浮件。几何冻结后,同一张图再挂每零件 PBR 材质,并从几何证据规划关节,导出 OpenUSD/URDF,在无头 Isaac Sim 里做沉降、关节扫掠、静止接触和再导入。
MechBench-36 是自制的 36 个多零件硬表面对象,盲评、统一灰泥渲染。Gemini 3.7 Flash 版综合分 0.828,TRELLIS.2 是 0.810,Adam CAD 是 0.799。几何 0.799、美观 0.827 都是表内最高;语义轴大家挤在 0.775–0.861,Adam CAD 和 TRELLIS.2 以 0.861 略高。
锐边是表示带来的。60° 二面角以上的锐边总长,Gemini 版 158.08,GPT-5.6-sol 版 185.18,下一档代码方法 Adam CAD 只有 57.35,大约 2.6 倍和 3.1 倍。TRELLIS.2 锐边长度 134.02,但 95 分位二面角只有 73.1°,棱是浅的;Procedura 对应 98.0° 和 105.3°。配对看,流水线相对单次 Gemini 美观 +0.105(20 胜 7 负,符号检验 p=0.019);GPT-5.6-sol 臂 +0.059 不显著。
P3D-Bench 203 例,同一套装配评委。Gemini 版综合 0.590±0.009,GPT-5.6-sol 版 0.575,覆盖全集的最强公开项 GPT-5.5 是 0.524。几何分 0.490 对 0.392,差距最大。单次提示 Gemini 已到 0.566,一部分领先来自底模变强,流水线再补余量。
消融:去掉 refine,综合 0.828→0.800;去掉规划 0.791;去掉每零件 3D 反馈 0.819。关节侧,18 个资产里 14 个过完动力学阶段,其中 9 个还过顾问级资产规则;4 个彻底失败,1 个加载不了,3 个驱动走不到位。
这条路线交出的是能打开再改的程序,不是一张漂亮皮。零件有名,尺寸是参数,配合过编译器,关节能进仿真。游戏、机器人、工厂里的硬表面资产,缺的往往就是这些,不是更高的 CLIP。
它仍是渐进的系统工程:冻结 LLM、确定性几何求解、把门的批评家。MechBench 相对 TRELLIS.2 只高 0.018 综合分,真正拉开的是锐边和可编辑性。单次 GPT-5.6 几何已经 0.790,流水线几何 0.799,底模很强时装配循环的增量有限。
作者承认三件事。智能体只通过渲染看模型,遮挡内部和细接触几何会躲过所有相机。CSG 适合机械硬表面,有机形体别扭。mate 词表只有刚体,计划里没声明的配合无法检验。
评委是 Gemini 3.7 Flash 高推理模式,生成骨干也是它,虽经哈希致盲,同族自裁仍在。MechBench 自制 36 例。P3D 上单次前沿模型已经清掉公开榜,方法增量要和底模增量分开读。关节只验证了 18 个对象。没有给材质的定量指标。