3万小时第一人称视频训练世界模型：手学准了，物体交互学不会
mangahomanga · x · 2026-10-14
- Toyota Research 等机构合作的新研究《What 30,000 Hours of Ego-centric Video Does Not Teach》用 30,012 小时（1.15M 段、32,051 种任务、约 32.4 亿帧）第一人称操作视频训练自我中心世界模型（基于 Cosmos 3 的 4B/16B/64B 模型）。
- 核心发现：模型对「手去哪」（agent fidelity）学习得非常好且已近饱和，但对「手触碰后物体发生什么」（object fidelity）始终落后；数据从 300 小时扩到 30,000 小时没有缩小差距，模型放大 4 倍也收效甚微。
- 结论：人类第一人称视频缺少力与相应动作的标注，这种「fidelity gap」是数据本身的局限，规模扩展难以修复。论文页面与 benchmark、代码将陆续开放。
所属事件:研究发现3万小时第一人称视频仍教不会世界模型物体交互(2 条相关)→
「具身」频道最新
- Recova 用编码智能体在仿真中练出机器人自恢复能力，人工干预率从 87.5% 降到 0% — Lianhuiq · 2026-10-14
- NVIDIA AlphaNIST：纯二值奖励让机器人自悟装配技能，成功率 98.2% — abhishekunique7 · 2026-10-14
- 欧盟隐私监管机构呼吁：智能眼镜录制时必须明确提示 — Polymarket · 2026-10-14
- Spot 遥操作细节补充：real2sim 验证技能，无地图自主导航 — ki_ki_ki1 · 2026-10-14
- Argon 智能体自学 Spot SDK，捡罐踩踏板完成倒垃圾 — chris_j_paxton · 2026-10-14
- Meta 研究员招多模态与机器人方向实习生,不限背景 — liuzhuang1234 · 2026-10-14