Gemini 4 Argon 视频转 MuJoCo 仿真，Apollo 2 人形连中 7 投
TechPreacher · x · 2026-10-26
Google DeepMind 展示 Video-to-Sim-to-Real 流水线：仅凭一段普通人玩 cornhole（沙包投掷）的视频，Gemini 4 Argon 完成从建模到真机执行的全流程，Apptronik Apollo 2 人形机器人在真机上连续 7 投全中。
流水线五步（无需动捕、无机器人数据）：
- 感知：视频理解识别投掷板、沙包与投掷者动作，推理投掷物理
- 建模：以代码形式自动编写 MuJoCo 仿真场景与机器人模型
- 系统辨识：校准仿真动力学使其匹配真机硬件
- 仿真训练：计算 Apollo 2 全身关节运动并在仿真中反复练习投掷
- 迁移微调：真机执行，几次真实投掷后改进
DeepMind 称该流程把数周的手工仿真建模压缩到几小时；Kanishka Rao 的开发者帖展示 Argon 可从机器人遥操作片段等三种来源重建校准的 MuJoCo 数字孪生。亮点不在 cornhole 本身，而是通用前沿模型端到端完成了机器人工程师的活：场景重建、仿真编写、系统辨识与训练。
「具身」频道最新
- 港中文等发布 RoboJudge 基准:800 段人工标注视频评估多模态模型裁判能力 — CUHK-CSE · 2026-10-26
- 港科大仅用一块 GPU 8 小时,把宇树 G1 控制器迁移到全尺寸 H2 — FinanceYF5 · 2026-10-26
- 中国移动展示非侵入式脑机接口+AR 眼镜控制机器人灵巧手 — FinanceYF5 · 2026-10-26
- 伯克利用扩散模型生成 RL 策略权重,真机 G1 会跳舞旋转踢 — FinanceYF5 · 2026-10-26
- KAIST Humanoid v0.9 机载视觉助力,推动 35 公斤举起 20 公斤 — FinanceYF5 · 2026-10-26
- Figure F.03 已连续行走 13 天 422 英里,测试仍未停止 — FinanceYF5 · 2026-10-26