港科大联合腾讯 ARC 发布 Track4World：前馈模型追踪全部像素 3D 轨迹
rsasaki0109 · x · 2026-09-08
港科大与腾讯 ARC Lab 团队发布 Track4World，一篇被 ECCV 2026 接收的工作，实现单目视频中每个像素的全局 3D 轨迹追踪。
核心贡献：
- 现有单目 3D 追踪方法要么只能追踪首帧稀疏点，要么依赖缓慢的优化式稠密追踪；Track4World 用前馈模型实现高效的整体 3D 追踪
- 基于 VGGT 风格 ViT 编码的全局 3D 场景表征，提出新的 3D 相关性方案，可同时估计任意帧对之间的逐像素 2D 与 3D 稠密光流
- 支持世界坐标系（world-centric）与相机坐标系（camera-centric）两种追踪模式，后者将 2D 对应关系抬升到 3D 空间，实现相对运动相机的稳健追踪
- 在多个基准上的 2D/3D 光流估计与 3D 追踪均超越现有方法，可用于真实场景 4D 重建
项目页含代码、arXiv 论文与在线 Demo，演示覆盖跑酷、滑冰、滑雪板、网球等运动场景。
「研究」频道最新
- 77M 参数纯合成数据训练，Mitra-v2 登顶表格建模基准 — chaumian · 2026-09-08
- 索尼 AI 推出 Hakken 系统：从 150 万条假说中实证 2 项衰老基因新关系 — i_dg23 · 2026-09-08
- 从零搭建异步 RL 框架:JAX 多智能体训练实战工作日志 — yoshiyama_akira · 2026-09-08
- 用模型预判安全研究者的偏好：TASTE 评测基准登场 — burny_tech · 2026-09-08
- EMNLP 2026 论文：文本世界模型该比「行为一致」而非文本相似，假阳性率 42.5% 降至 9.5% — 机器之心 · 2026-09-08
- 论文揭示 agent 技能检索评测陷阱：整体变好，检索任务反而变差 — rohanpaul_ai · 2026-09-08