SceneAgent：将 3D 采集自动转为物理仿真场景，供机器人策略训练

hankyang94 · x · 2026-09-18

Hank Yang 团队发布 SceneAgent，一个从 3D 采集数据生成可仿真场景的 agentic 管线，用于机器人策略训练与评估。核心是结合语义特征与逐高斯点的预测性物理属性，把单个复杂物体或整段场景变成可交互仿真。

管线自动化完成：从图像/视频/LiDAR 或 World Labs Marble 等生成的 3DGS 场景输入开始，按 30k/60k 步处理 3DGS 并自动逐图校正标定；推断每个高斯的语义特征；分割物体并补全背景；为每个物体烘焙刚性、摩擦、密度等物理材质；把物体分解为部件；为可动部件生成关节铰接；并生成不同几何形态的相似 3D 网格。