EgoSteer 用 9.6K 小时人手视频训练双灵巧手系统
机器之心 · wechat · 2026-07-23
EgoSteer 用 9.6K 小时人手视频训练双灵巧手操作系统
灵初智能与北大-灵初联合实验室发布了开源的双灵巧手通用操作大模型与全栈系统 EgoSteer。
- 数据管线：先用 EgoSmith 把噪声很大的第一人称人手视频清洗成可训练数据，流程包括筛视频、估计 4D 运动、多层级语言标注和多阶段质量过滤。
- 数据规模：最终整理出跨 12 个开源数据集、9.6K 小时、209 万 片段、10.4 亿 帧的训练集。
- 模型结构：以 Qwen3-VL 为视觉语言主干，配合动作专家与只在训练阶段使用的轻量世界模型专家。
- 系统闭环：机器人栈同时支持遥操作、模型部署和人在闭环接管，并用相对动作映射实现平滑交接。
- 实验结果：在 40 个任务上平均成功率达到 75%；对没见过语义的新任务仍有约 62% 成功率；只用 120–200 条示范，就能学会长程任务。
- 开放程度：代码和模型权重已开源，数据也将陆续开源。
「具身」频道最新
- 探访仓储机器人公司 Dexory：8 米扫描塔与全栈自造之路 — lukas_m_ziegler · 2026-10-26
- M5Stack StickS3 固件更新:远程取景支持理光 GR 相机 — OpenAIDevs · 2026-10-26
- 傅利叶 GR-3 裸机状态一次连爬六层楼,下楼无保护绳 — chris_j_paxton · 2026-10-26
- 中科院团队发布 FocusVLA:按操作意图动态切换机器人相机视角 — iscas-cloud · 2026-10-26
- Pandora M1 原型亮相:分布式 GPU 监控的实体硬件设备 — tarantulae · 2026-10-26
- $150 掌上 Linux 电脑 Mecha Comet 开放预订,还能揣兜跑 Claude Code — Paimaamu · 2026-10-26