EgoSteer 用 9.6K 小时人手视频训练双灵巧手系统
机器之心 · wechat · 2026-07-23
EgoSteer 用 9.6K 小时人手视频训练双灵巧手操作系统
灵初智能与北大-灵初联合实验室发布了开源的双灵巧手通用操作大模型与全栈系统 EgoSteer。
- 数据管线：先用 EgoSmith 把噪声很大的第一人称人手视频清洗成可训练数据，流程包括筛视频、估计 4D 运动、多层级语言标注和多阶段质量过滤。
- 数据规模：最终整理出跨 12 个开源数据集、9.6K 小时、209 万 片段、10.4 亿 帧的训练集。
- 模型结构：以 Qwen3-VL 为视觉语言主干，配合动作专家与只在训练阶段使用的轻量世界模型专家。
- 系统闭环：机器人栈同时支持遥操作、模型部署和人在闭环接管，并用相对动作映射实现平滑交接。
- 实验结果：在 40 个任务上平均成功率达到 75%；对没见过语义的新任务仍有约 62% 成功率；只用 120–200 条示范，就能学会长程任务。
- 开放程度：代码和模型权重已开源，数据也将陆续开源。
「具身」频道最新
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
- 蚂蚁阿福用户达 1.5 亿，外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11
- SyncWorld:少量视觉校准即可零样本模拟机器人跨视角交互 — ChongZzZhang · 2026-09-11
- 狗类 3D 姿态数据集发布，动物动捕研究可用 — ducha_aiki · 2026-09-11