Scene-Designer: Learning Design Intelligence for Agentic 3D Scene Generation
Xuanyu Liu, Hongyan Feng, Miao Pan, Sunlai Chen, Lizhou Liang, Bing Sun, Wenqi Zhang, Xuhong Zhang
cs.CV
2026-10-16
浙江大学用 Qwen3-VL-8B 同时学习室内场景搭建与质量批评，四场景排序准确率达到 76%，GPT-5.2 为 15%，交互朝向需五步以上的纠错从 40% 降到 7%。
室内场景能不能用，要看出错之后能不能直接改对，也要看两套都合法的布局哪套更适合住人。浙江大学 OmniAI 把这组能力叫做 design intelligence（设计智能）。
通用模型接上工具，仍然缺室内经验。LayoutGPT、Holodeck、I-Design、SceneWeaver 都能迭代搭建，决策本身来自通用大模型。3D-FRONT 只存静态位姿，不存修改理由。GPT-5.2 加 SceneSmith 脚手架生成的 100 个场景里，物理错误占 60.7%，语义与布局错误占 39.3%，碰撞、越界、挡门出现在约九成轨迹中。窗户被挡本可一步挪开，约 18% 仍要五步以上；交互朝向（椅子未朝向桌子）只有 7.5% 能一步转正，62% 至少五步。34% 的资产放下后不再改，24% 要改五次以上。
GPT-5.2 双场景比较约 72%，四场景完整排序只有 15%。基座 Qwen3-VL-8B-Instruct 的四场景排序是 2%，接近随机。
Scene-OTA-35K 提供设计轨迹。GPT-5.2 在 SceneSmith 上搭建，人工保留高质量成品：1K 个场景、约 3.5 万步 Observation-Thought-Action（观察、想法、动作）。Causal Trajectory Consolidation（因果轨迹压缩）先标可疑步，看这一步有没有拉近最终布局的位置和朝向，有没有减少剩余错误。再由 GPT-5.2 判成无效试探、有效纠正或不确定，只删高置信的无效步，回放后终点必须不变。轨迹平均从约 110 步收到约 30 步，每步补一段推理。
Scene-OTC-15K 约 1.5 万条，用来学批评。好场景做三档扰动：轻度只伤布局连贯，中度打乱功能关系，重度制造碰撞和越界。扰动可以累加，可以加在同一物体上，也可以打到不同物体。前两种名次由强度自动排定，第三种要人工标，因为后果取决于家具的功能角色。测试集为 94 对双场景和 55 组四场景。
底座是 Qwen3-VL-8B-Instruct，全参微调。OTA 与 OTC 联合 SFT 两个 epoch，学习率 1e-5，4 张 A800，得到 Scene-Builder。
Scene-GRPO 把 Scene-Builder 分成冻结的 Critic 和继续训练的策略。GRPO（组内相对策略优化）在每个父场景上采样 4 个动作。Critic 比较兄弟场景谁更好，再比较子场景相对父场景是变好还是变差：变好 +0.5，变差 -0.5，无法渲染记 -0.5。长度和物体数是轨迹级奖励，25 步以内且物体不少于 25 给满，步数达到 45 或物体少于 10 则该项为 0。学习率 1e-6，轨迹最长 80 步，排名第一的分支继续搭建。
测试时沿用四分支，Critic 选一支再执行，参数不再更新。
提示词统一为「Design me a {roomtype}」，每种房型每个方法生成 10 个场景。真实感、功能性、布局、完整度由 GPT-4 打 0 到 10 分。物体数越高越好，越界和碰撞越低越好。
Scene-Builder 在卧室和客厅的碰撞、越界已经是 0，与 SceneWeaver、I-Design 同级。Holodeck 卧室平均 32.2 件物体、38.5 次碰撞。ATISS、DiffuScene、PhyScene 的卧室只有 3.3 到 3.9 件物体，完整度 3.6 到 4.2。
| 方法 | 房间 | 物体数 | 碰撞 | 真实感 | 功能性 | 布局 | 完整度 |
| SceneWeaver | 卧室 | 14.0 | 0 | 9.2 | 9.8 | 8.4 | 9.4 |
| Scene-Builder | 卧室 | 19.6 | 0 | 8.8 | 9.2 | 8.4 | 8.9 |
| Scene-Designer | 卧室 | 20.0 | 0 | 9.5 | 9.5 | 8.8 | 9.4 |
| 加测试时 Critic | 卧室 | 20.8 | 0 | 9.8 | 9.8 | 9.2 | 9.7 |
| SceneWeaver | 客厅 | 17.3 | 0 | 9.1 | 9.5 | 8.0 | 8.7 |
| Scene-Builder | 客厅 | 17.9 | 0 | 8.0 | 8.6 | 8.2 | 7.8 |
| Scene-Designer | 客厅 | 20.3 | 0 | 9.6 | 9.0 | 9.3 | 9.0 |
| 加测试时 Critic | 客厅 | 21.1 | 0 | 10.0 | 9.4 | 9.6 | 9.5 |
客厅真实感从 8.0 到 9.6，布局从 8.2 到 9.3，测试时 Critic 再把真实感打到 10.0。卧室功能性上 SceneWeaver 为 9.8，Scene-Designer 为 9.5，加上 Critic 才到 9.8。
浴室和办公室的碰撞同样为 0。SceneWeaver 功能性为 10.0，办公室物体数 40.0。加 Critic 后，浴室为物体 22.0、真实感 9.7、功能 9.5、布局 9.1、完整度 9.7；办公室为 24.2、9.8、9.4、9.2、9.6。对照办公室里 SceneWeaver 的真实感 9.0、布局 8.0、完整度 8.7，功能和物体数仍是对方更高。
相对 Scene-Builder，五步及以上才改完的比例：交互朝向 40% 到 7%，窗户遮挡 21% 到 5%，尺度不符 50% 到 23%，挡门 15% 到 13%。
| 模型 | 双场景比较（94） | 四场景排序（55） |
| Qwen3-VL-8B-Instruct | 72% | 2% |
| GPT-5.2 | 72% | 15% |
| 只训 OTC | 86% | 51% |
| OTA 加 OTC | 89% | 76% |
联合训练把四场景排序从 51% 提到 76%，Top-1 为 82%。图像顺序打乱 5 次后，双场景 90.00±2.07%，四场景 75.64±6.88%。
设计策略在 Qwen3-VL-8B 里。SceneWeaver 和 Holodeck 仍由通用模型逐步改场景，轨迹容易拉长。这里先删无效步再模仿，再用冻结的 Critic 选分支。客厅上，真实感从 8.0 抬到 9.6，布局从 8.2 抬到 9.3，四分支推理再抬到 10.0 和 9.6。
配方比单点名次更值得留下：轨迹压缩后再监督，批评标签靠分档扰动自动排序，奖励拆成兄弟比较和父子是否变好。碰撞在 SFT 之后已经是 0，GRPO 换来的是功能组织和更短纠错。相对 SceneWeaver，前进出现在一部分列上。
设计和批评互相加强，论文称为趋势。加上设计数据后，四场景排序从 51% 到 76%。反方向只有餐厅和阅读角两个例子，主表没有只训 OTA 的分数。
观感四项全由 GPT-4 打 0 到 10 分，正文没有人类偏好实验。物体数被定义成越高越好。办公室里 SceneWeaver 平均 40.0 件、功能 10.0，加 Critic 的 Scene-Designer 是 24.2 件、功能 9.4。
每种房型只生成 10 个场景。批评名次多由扰动强度决定，模型可能学到的是扰动痕迹，人工标注占比没有报告。轨迹采集和删步都经过 GPT-5.2，主表没有老师的场景分数。Critic 在 GRPO 中冻结，批评不会在强化学习里继续提高。房间只覆盖卧室、客厅、浴室和办公室。