HSImul3R 让重建「物理可执行」,穿模率从 69.5% 降至 22.9%

机器之心 · wechat · 2026-09-20

大晓机器人联合南洋理工 S-Lab、上海 AI 实验室发布 HSImul3R，ECCV 2026 接收，直指三维重建的「感知—仿真鸿沟」：视觉上正确的重建进仿真后可能倒下、穿模。

新评价标准：首个面向非标定稀疏视角（支持单目视频）的 Simulation-Ready 人–场景交互重建框架，把重力稳定性、真实接触、交互稳定性纳入核心指标，并构建含 19 个场景物体、300 个交互实例的 HSIBench。
物理闭环双向优化：正向用面向场景的强化学习优化人体动作（坐下必须真的坐上那把椅子）；反向用直接仿真奖励优化（DSRO）以交互反馈修正场景几何——仿真器从「裁判」变成主动监督者。
结果：Easy/Medium/Hard 三档交互稳定率 53.68%/30.56%/13.92%（HSfM 仅 10.52%/4.50%/2.66%），穿模率从 69.51% 降至 22.90%。
Sim2Real 闭环：优化后动作迁移到 Unitree G1 人形机器人训练全身控制策略并真机部署，打通「人类视频→重建→仿真优化→机器人执行」全链路，暗示互联网人类视频可转化为机器人可学习的技能资产。

「具身」频道最新