EgoX 单目视频联合重建:手部误差降 65.6%,深度误差降 42.9%
jiqizhixin · x · 2026-11-09
来自 Ropedia、南洋理工、清华与北大团队的 EgoXperience 预印本提出第一视角视频联合重建方法 EgoX,并发布配套基准 EgoXBench。
- 核心思路:不再独立估计相机运动、深度、手部与物体,而是把四者放进统一的公制世界坐标系,单目视频一次性联合推断;几何一致性让手/物体证据反哺相机估计,相机与深度预测又帮助组织场景。
- 数据与架构:数据引擎提供对齐的监督信号;模型以 DINOv3 ViT-L/16 编码 ego RGB 视频,实体 token 化(手部、物体、相机、尺度、记忆),经 Scene-Entity Blocks 后分别输出深度、尺度、相机轨迹、手部与物体运动。
- 成绩:在 EgoXBench 上,手部重建误差较最强基线降低 65.6%,深度误差降低 42.9%。
- 限制:推理需要首帧物体掩码,并非从无标注像素推断一切;报告的降幅仅针对特定重建指标,其他结果基于其他数据集,不宜直接横向比较。
「研究」频道最新
- 最强 3D 生成模型仍反复犯三类低级错误：Z-fighting、单面几何、坐标系错位 — teortaxesTex · 2026-11-09
- EPFL 研究者将在线讲解掩码扩散语言模型的轨迹感知训练 — AnnaCiaunica · 2026-11-09
- UC伯克利等新论文：Agent 自我进化提分 5.2 却丢掉 10 个原本会做的任务 — rohanpaul_ai · 2026-11-09
- MoE训练终极手册已有中文版：3万字50+交互图表全覆盖 — Nouamanetazi · 2026-11-09
- 斯坦福DSP传奇Julius Smith三小时深度访谈上线YouTube — teropa · 2026-11-09
- 硬件感知 LDM 实现:状态回卷+窗口写入,大幅降低激活内存与访存开销 — SonglinYang4 · 2026-11-09