CMU TrackEverything:40GB 显存内追踪超千帧视频全部可见点
CarnegieMellonU · hf · 2026-09-28
CMU 团队提出 TrackEverything,突破现有点追踪模型「要么长期追踪稀疏点、要么短片段追踪全部点」的根本权衡,将视频表示为世界坐标系下的持久 3D 场景轨迹,使模型复杂度与视频时长解耦、随场景几何规模扩展。
- 体素去重:在滑动窗口边界用体素化机制合并同位置轨迹,避免同一表面被重复累积。
- 分解追踪:先用端点精化器预测每点去向及动静态分类,再仅对动态点解码轻量轨迹。
- 3D WAFT:用场景点云中的高效特征采样替代内存爆炸的 4D 相关体积。
据作者称这是首个能在 40GB GPU 显存内对超过 1000 帧视频追踪全部可见点的 3D 追踪器;在 TAPVid-3D 短片段上比全部开源全帧密集 3D 追踪器高出 20% 以上 APD,长序列上与 SOTA 稀疏追踪器相当且追踪点多得多。
所属事件:CMU 等发布 TrackEverything 实现长视频全点密集追踪(2 条相关)→
「研究」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- 开源 ai-rulez 作者拆解 Claude Code 技能发现评测:单一成功率掩盖多种失败模式 — Goldziher · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16