PLANET 把 2D 跟踪升到 3D 世界坐标系,三项基准刷到 SOTA
lealtaixe · x · 2026-09-07
Laura Leal-Taixé 团队发布多目标跟踪新方法 PLANET(arXiv:2609.00924)。核心洞察:单目视频本质是 3D 场景的 2D 投影,传统跟踪器只依赖图像平面内的外观与几何,天然丢失深度与空间关系。
技术要点:
- 将现有 2D 跟踪数据集「抬升」为 3D,作为基础数据
- 用重建的 3D 场景几何嵌入 query 的特征与位置编码,形成 world-grounded queries
- 辅助的 3D 位置预测任务促使 query 在训练中编码物体位置
- 双分辨率时序记忆在更长的时间间隔内保留证据
PLANET 在 DanceTrack、SportsMOT 与 BFT 三个差异较大的基准上均取得 SOTA。
「研究」频道最新
- MBZUAI 新方法:冻结 VLM 无需重训即可完成语音中心全模态理解 — MBZUAI · 2026-09-07
- NAVER AI 论文:LLM 推理运算在隐藏层表示中几何可分 — naver-ai · 2026-09-07
- 双层博弈+随机记忆反思,SRMA 让多智能体 LLM 协调有收敛保证 — Yihang Chen · 2026-09-07
- 合成数据已成训练主流：小模型训练本质是蒸馏 — RexDouglass · 2026-09-07
- Astra 自建超材料实验室，从一张图搜出 2.1 倍强度设计 — ProfBuehlerMIT · 2026-09-07
- 腾讯开源 EVIE 视觉文档检索模型,ViDoRe V3 达 66.75 — jacek2023 · 2026-09-07