港大团队开源 SceneMosaic:变体场景生成提速 24 倍且零碰撞
机器之心 · wechat · 2026-09-28
机器人仿真环境构建面临两条路线的瓶颈:智能体文生 3D 质量高但极慢(SAGE 单场景耗时 7.56 小时),参数化图生 3D 快但物理不准(碰撞率高达 20%26%)。香港大学戴勃团队提出 SceneMosaic,兼顾速度、物理准确性与多样性,已开源。
核心方法三阶段:
- 场景重建与结构化:SAM3 分割 + SAM3D 重建物体网格,用 DAG 调度子智能体推断支撑与容纳依赖,把场景组织成层级化「场景树」,并定义可独立演化的「局部单元」(如书架+书、桌子+显示器)。
- 物理优先 + 智能体演化:先做容纳修正与重力仿真消除悬空穿模,再以 Critic-Actor 循环调整布局——Critic 只输出定性建议避免数值误差,Actor 用符号化位姿表达式精确求解;三层防死锁设计(限域上下文、3D 降维为 2D、布局记忆)。
- 多样性组合:局部变体沿场景树取笛卡尔积得到海量候选,再用新颖性距离 + Max-Min 贪心筛选。
实验结果:在 SceneEval-100 上语义质量与最强基线持平(POS 84.3 对 83.5),物理违规大幅减少,比 SceneSmith 提速 24 倍;生成一个变体场景仅需 0.03 小时。与高斯扰动对照,同等多样性下关系保持率 99.1% 对 71.5%。48 人用户研究中语义与物理合理性均获最高分。
局限:依赖单张图像初始化,目前仅支持房间尺度,尚不能扩展到完整住宅。论文与代码已开源。
「具身」频道最新
- 在智能手表上实时模拟 302 神经元的线虫全连接组 — bodyaz · 2026-09-29
- 点云压缩库 Cloudini 1.4 发布：压缩率提升 20% 且更快 — facontidavide · 2026-09-29
- LeCun 转发：世界模型读书会 10 月 10 日 SF 开讲 AdaJEPA — ylecun · 2026-09-29
- 具身智能重走协作机器人老路:惊艳 Demo 十年前已被证伪 — yongqianme · 2026-09-29
- 工厂自动化实测:VLA 黑盒难调,靠智能机械夹具兜底可靠性 — philfung · 2026-09-29
- 前沿模型直驱 CAD 与机器人:研究者维护 243 案例动态综述库 — YuXiang_IRVL · 2026-09-29