哈佛团队推出SIMPACT:仿真闭环让VLM零训练生成可执行机器人动作
du_yilun · x · 2026-09-28
Yilun Du 团队（Harvard/UIUC/UMD，CVPR 2026）发布 SIMPACT：一个测试时仿真使能的动作规划框架，无需任何额外训练即可让视觉语言模型具备物理推理能力。
核心做法：
- 从单张 RGB-D 观测出发，自动构建物理仿真：刚体用 mesh 仿真，可变形物体（绳子、橡皮泥等）用粒子仿真，VLM 推断所需物理参数；
- VLM 作为动作采样器与优化器，先提出粗略动作，在仿真中观察 rollout 结果，再迭代精化动作序列；
- 最终把优化后的动作在真实世界执行，即 real2sim2real，让 VLM 能从仿真中做 in-context learning。
项目页展示了与基线方法的对比结果，以及对参考物体不同、存在干扰物、绳子材质粗细变化、橡皮泥形状颜色变化等扰动的鲁棒性验证。作者称这是对 GPT-Astra real2sim 演示思路的延伸——把仿真变成 VLM 可调用的物理推理工具。
「具身」频道最新
- 特斯拉员工抵制穿动捕服训练 Optimus,训练数据补偿引争议 — VraserX · 2026-09-29
- Harness 桌面设备上手:149 美元的 AI Agent 指挥中心 — dee_hw · 2026-09-29
- Codex 建机器人工房：仿真成验证关键，但会贴着代码行数上限硬写 — zeeg · 2026-09-29
- 家务机器人真扫过脏房子吗？博主质疑 Tau Robotics 演示成色 — VoidStateKate · 2026-09-29
- DynaRobotics 首曝新款机器人,主打精细实操即将发布 — Rewkang · 2026-09-29
- IROS 2026 共 1933 篇论文,学者精选 130 篇分级阅读清单 — GlenBerseth · 2026-09-28