EgoSteer 用 9.6K 小时人手视频训练双灵巧手系统
机器之心 · wechat · 2026-07-23
EgoSteer 用 9.6K 小时人手视频训练双灵巧手操作系统
灵初智能与北大-灵初联合实验室发布了开源的双灵巧手通用操作大模型与全栈系统 EgoSteer。
- 数据管线：先用 EgoSmith 把噪声很大的第一人称人手视频清洗成可训练数据，流程包括筛视频、估计 4D 运动、多层级语言标注和多阶段质量过滤。
- 数据规模：最终整理出跨 12 个开源数据集、9.6K 小时、209 万 片段、10.4 亿 帧的训练集。
- 模型结构：以 Qwen3-VL 为视觉语言主干，配合动作专家与只在训练阶段使用的轻量世界模型专家。
- 系统闭环：机器人栈同时支持遥操作、模型部署和人在闭环接管，并用相对动作映射实现平滑交接。
- 实验结果：在 40 个任务上平均成功率达到 75%；对没见过语义的新任务仍有约 62% 成功率；只用 120–200 条示范，就能学会长程任务。
- 开放程度：代码和模型权重已开源，数据也将陆续开源。
「具身」频道最新
- Anchor-Align 让 xArm7 真实机器人成功率升至 54% — Dwip Dalal · 2026-07-23
- SeededGrasp 将语言理解与抓取生成分离，真实成功率达 78% — Yang Xu · 2026-07-23
- 马斯克称特斯拉进入自动驾驶与机器人加速期 — XFreeze · 2026-07-23
- Figure 自主运行视频领先 Optimus，人形机器人需求仍被看多 — markjeffrey · 2026-07-23
- 马斯克称 Robotaxi 扩张前提是不能伤到任何人 — XFreeze · 2026-07-23
- 机器人落地开始分化成数据战和地盘战 — broodsugar · 2026-07-23