哈佛团队推出SIMPACT:仿真闭环让VLM零训练生成可执行机器人动作
du_yilun · x · 2026-09-28
Yilun Du 团队(Harvard/UIUC/UMD,CVPR 2026)发布 SIMPACT:一个测试时仿真使能的动作规划框架,无需任何额外训练即可让视觉语言模型具备物理推理能力。
核心做法:
- 从单张 RGB-D 观测出发,自动构建物理仿真:刚体用 mesh 仿真,可变形物体(绳子、橡皮泥等)用粒子仿真,VLM 推断所需物理参数;
- VLM 作为动作采样器与优化器,先提出粗略动作,在仿真中观察 rollout 结果,再迭代精化动作序列;
- 最终把优化后的动作在真实世界执行,即 real2sim2real,让 VLM 能从仿真中做 in-context learning。
项目页展示了与基线方法的对比结果,以及对参考物体不同、存在干扰物、绳子材质粗细变化、橡皮泥形状颜色变化等扰动的鲁棒性验证。作者称这是对 GPT-Astra real2sim 演示思路的延伸——把仿真变成 VLM 可调用的物理推理工具。
「具身」频道最新
- 扑翼无人机在空军测试中被探测系统误判为鸟 — import_jmr · 2026-11-16
- Uber 在拉斯维加斯上线 Amazon 旗下 Zoox 无人驾驶出租车服务 — Polymarket · 2026-11-16
- 蚂蚁灵波具身大模型挑战赛收官:TARS战队48小时真机对决夺冠 — 新智元 · 2026-11-16
- 特斯拉 FSD 城市街道里程破 70 亿英里,四周新增约 5 亿 — XFreeze · 2026-11-16
- Ropedia 发布 Xperience 2:1500+ 真实场景扫描配第一人称演示 — liuziwei7 · 2026-11-16
- 杭州群核联合华测发布 3D 激光扫描仪 Aholo MS07 — teortaxesTex · 2026-11-16