浙大 Scene-Designer:用 Critic 引导 GRPO 学会 3D 场景设计智能

OmniAI-ZJU · hf · 2026-10-19

浙江大学 OmniAI 实验室发布 Scene-Designer，一个从自然语言生成完整、连贯、可用 3D 室内场景的 agentic 框架。核心思路是让模型同时学习「设计」与「评判」两种互补经验：构建 Scene-OTA-35K（Observation-Thought-Action 监督，学习场景设计与纠错）与 Scene-OTC-15K（Observation-Thought-Critic 监督，从物理有效性、功能正确性、布局连贯性三方面学习场景质量评判）两个数据集，并提出 Critic 引导的 Scene-GRPO 框架改进设计决策、减少试错。实验显示其在三项指标上优于现有方法，所学 Scene-Critic 评估能力显著超过通用模型，且测试时的 Critic 引导可进一步提升生成质量，设计与评判能力呈互相增强趋势。