上海 AI Lab 发布 InfiniHand:第一视角视频流式 3D 手部追踪
Shanghai-AI-Laboratory · hf · 2026-09-29
上海人工智能实验室发布 InfiniHand,一个端到端前馈流式框架,从未标定的第一视角(egocentric)视频中同时估计 MANO 手部参数、相机轨迹与手部世界位置。现有方案靠手姿估计器与 SLAM 级联拼接,误差累积、流程复杂、开销大。
要点:
- 架构上将持久时空记忆与手心视觉特征结合,统一建模相机运动与局部手部几何。
- 两阶段渐进训练:先学相机空间手部先验,再扩展到流式世界空间重建;预训练语料聚合约 5000 小时公开 egocentric 数据。
- 效果:ARCTIC PA-p 相比 ViDiHand 降低 21.4%,显著缓解世界空间漂移;实拍视频泛化良好,推理 11.19 FPS,吞吐是 HaWoR 的两倍以上。
「具身」频道最新
- 14400 次真实机器人操作评测，机器人领域迎来公开排行榜 — DJiafei · 2026-09-29
- 探访 Dexory 工厂：机器人从研发到产线组装只需三步 — lukas_m_ziegler · 2026-09-29
- 云深处科创板IPO获受理：拟募25亿，人形机器人去年仅卖1台 — 创业邦 · 2026-09-29
- EgoDemo：面向具身 AI 的第一人称视频演示数据集上架 HF — LightwheelAI · 2026-09-29
- DroneWAM:JEPA 世界动作模型助无人机视觉导航,预测深度自适应省一半算力 — Liang Yao · 2026-09-29
- 曝 OpenAI「dot」设备新细节:举到耳边即可对话 ChatGPT 语音 — koltregaskes · 2026-09-29