CMU几何学家用LLM手写27KB GLSL代码生成3D龙
CMU 几何学家 Keenan Crane 完成了一次不走寻常路的 3D 建模实验:在多数人用 LLM 配 Blender/Three.js 生成模型时,他让 LLM(Astra)直接生成 27KB 的 GLSL 代码,定义一个闭合的解析隐式曲面(符号距离函数),最终做出一条致敬 Inigo Quilez 的龙 "Inigo the Dragon"。他明确这只是实验,结论是效率远不如 diffusion 网格生成器,但展示了 LLM 程序化建模路线的独特价值。
已确认
- 完整流程公开:作者贴出给 Astra 的初始提示词,要求以 Inigo Quilez 的 distance functions 风格将参考图表示为程序化 SDF,模型需自行构建基本形状库与形状组合操作
- 第一步用 Nano Banana 生成正面/侧面参考图,作者称这是全流程最容易的一步,也体现了扩散模型在密集视觉内容生成上的优势
- 迭代过程中他尝试了「true believer」式提示(直接让模型「相信你自己」),并补充 Inigo Quilez 的代码与文字教程作为模仿素材,作者称效果确有提升,但离目标仍有距离
- 总成本:25 小时 AI 调用、27 轮人工反馈;Astra 首次直接生成耗时 45 分 47 秒,结果作者形容为「呃,很美」,与 diffusion 模型约 3 分钟的产出差距悬殊
- 隐式曲面可视化成本极高:即便专门写了自定义 Metal 渲染器防止机器崩溃,渲染一段视频仍需约 45 分钟;最终他不得不把曲面转成 mesh 才便于检查修改
- 模型命名 "Inigo the Dragon",作者坦言世上可能只有 iq(Inigo Quilez)能徒手构建这样的模型,整个流程大量借鉴其工作
为什么重要
- 作者分析了 LLM 生成程序化 3D 模型难学的两个原因:此类数据的树状不规则结构比在规则网格上采样的 SDF 更难学习,且训练数据极少——几乎没有美术工作者以此方式建模
- 但他仍认为值得尝试:LLM 本就擅长建模「树状」数据的统计规律,且 VLM 的 3D 空间智能正快速提升;这条路相当于面向光滑有机形状的「Blender 基础体」
- 他还指出从 2D 投影反推 3D 本质是病态问题——几何、材质、光照、相机的多种组合都能产生同一图像,因此需要正则化或先验;他采用的几何先验是「物体由盒子、椭球体等基本几何基元混合而成」
- 作者明确提醒:真需要从图像生成有机 3D 模型,Meshy、Tripo 等扩散网格生成器更快更便宜质量更好且全自动——网格约 3 分钟、每个约 50 美分
2026-10-10 ~ 2026-10-10 · 13 条相关
一手来源
- 不用 mesh 和 3DGS,他用 LLM 写 27KB GLSL 代码生成 3D 龙 — keenanisalive ·
- 25 小时 AI 调用、27 轮人工反馈:这条 LLM 生成 3D 龙致敬 iq — keenanisalive ·
- 作者公开完整 Prompt:让 LLM 依图写程序化 SDF 3D 模型 — keenanisalive ·
- 【源头】不用 mesh 和 3DGS,他用 LLM 写 27KB GLSL 代码生成 3D 龙 — keenanisalive · 2026-10-10
- CMU 教授用 LLM 生成 27KB GLSL 代码手搓隐式曲面 3D 龙 — keenanisalive · 2026-10-10
- 【源头】25 小时 AI 调用、27 轮人工反馈:这条 LLM 生成 3D 龙致敬 iq — keenanisalive · 2026-10-10
- 作者提醒:真要图生 3D,Meshy/Tripo 比 27KB GLSL 隐式曲面好用得多 — keenanisalive · 2026-10-10
- 隐式曲面渲染有多贵:自定义 Metal 渲染器跑 45 分钟才出一段视频 — keenanisalive · 2026-10-10
- 隐式曲面 3D 龙第一步:用 Nano Banana 生成正/侧面参考图 — keenanisalive · 2026-10-10
- 2D 图反推 3D 是病态问题,先用 Nano Banana 生成参考图 — keenanisalive · 2026-10-10
- 为什么 LLM 难学程序化建模:树状结构+数据稀缺 — keenanisalive · 2026-10-10
- VLM 空间智能变强,程序化建模值得一试的两大理由 — keenanisalive · 2026-10-10
- 【源头】作者公开完整 Prompt:让 LLM 依图写程序化 SDF 3D 模型 — keenanisalive · 2026-10-10
- LLM 画龙花 45 分钟,diffusion 模型 3 分钟效果碾压 — keenanisalive · 2026-10-10
- 用「相信你自己」提示法调教 LLM 写 3D SDF 模型实测 — keenanisalive · 2026-10-10
另有 1 条近重复转述:keenanisalive