港大团队开源 SceneMosaic:变体场景生成提速 24 倍且零碰撞
机器之心 · wechat · 2026-09-28
机器人仿真环境构建面临两条路线的瓶颈:智能体文生 3D 质量高但极慢(SAGE 单场景耗时 7.56 小时),参数化图生 3D 快但物理不准(碰撞率高达 20%26%)。香港大学戴勃团队提出 SceneMosaic,兼顾速度、物理准确性与多样性,已开源。
核心方法三阶段:
- 场景重建与结构化:SAM3 分割 + SAM3D 重建物体网格,用 DAG 调度子智能体推断支撑与容纳依赖,把场景组织成层级化「场景树」,并定义可独立演化的「局部单元」(如书架+书、桌子+显示器)。
- 物理优先 + 智能体演化:先做容纳修正与重力仿真消除悬空穿模,再以 Critic-Actor 循环调整布局——Critic 只输出定性建议避免数值误差,Actor 用符号化位姿表达式精确求解;三层防死锁设计(限域上下文、3D 降维为 2D、布局记忆)。
- 多样性组合:局部变体沿场景树取笛卡尔积得到海量候选,再用新颖性距离 + Max-Min 贪心筛选。
实验结果:在 SceneEval-100 上语义质量与最强基线持平(POS 84.3 对 83.5),物理违规大幅减少,比 SceneSmith 提速 24 倍;生成一个变体场景仅需 0.03 小时。与高斯扰动对照,同等多样性下关系保持率 99.1% 对 71.5%。48 人用户研究中语义与物理合理性均获最高分。
局限:依赖单张图像初始化,目前仅支持房间尺度,尚不能扩展到完整住宅。论文与代码已开源。
「具身」频道最新
- 扑翼无人机在空军测试中被探测系统误判为鸟 — import_jmr · 2026-11-16
- Uber 在拉斯维加斯上线 Amazon 旗下 Zoox 无人驾驶出租车服务 — Polymarket · 2026-11-16
- 蚂蚁灵波具身大模型挑战赛收官:TARS战队48小时真机对决夺冠 — 新智元 · 2026-11-16
- 特斯拉 FSD 城市街道里程破 70 亿英里,四周新增约 5 亿 — XFreeze · 2026-11-16
- Ropedia 发布 Xperience 2:1500+ 真实场景扫描配第一人称演示 — liuziwei7 · 2026-11-16
- 杭州群核联合华测发布 3D 激光扫描仪 Aholo MS07 — teortaxesTex · 2026-11-16