蚂蚁集团用无动作标签的第一人称视频改进机器人策略学习
antgroup · hf · 2026-11-17
蚂蚁集团发布 Ego Guidance 方法,利用无动作标签的人类第一人称(egocentric)视频增强机器人策略学习。
- 采用 mixture-of-transformers 架构:VLM 主干 + 动作专家 + 生成专家,共同预测未来视觉状态与动作
- 机器人数据带动作标签训练动作专家,人类自我中心视频无需动作标注,仅通过跨注意力提供视觉表征先验
- 利用预训练视觉-语言表征,使海量无动作标注的人类操作视频(做饭、手工等日常场景)成为可用的训练素材
「具身」频道最新
- 清华等推 ScaleVLA:把 VLA 模型扩到 552B 参数,10 条演示胜过 2B 模型 50 条 — GalaxyGeneralRobotics · 2026-11-17
- ChipAgents 创始人做客纽交所访谈,谈芯片设计 AI 全流程扩展 — WilliamWangNLP · 2026-11-17
- 英伟达机器人负责人:OpenAI Astra 让机器人训练数据制作快 100 倍 — pstAsiatech · 2026-11-17
- 法日机器人多模态 AI 会议聚焦人本物理 AI 的研究缺口 — FrnkNlsn · 2026-11-17
- 曹国熊:PhysicalAI 仍在验证期,具身大脑闭环至少五年 — 创业邦 · 2026-11-17
- CoRL 炉边对话:李飞飞与 AMD CEO 苏姿丰同台探讨机器人未来 — PeterStone_TX · 2026-11-17