ProMo3D：冻结 3D 基础模型的 token 里就能解码运动信息
zhenjun_zhao · x · 2026-10-30
NeurIPS 2026 接收论文 ProMo3D 探究一个问题：冻结的前馈 3D 基础模型（π³X、VGGT、Depth Anything 3 等）的 token 表示中，是否已经编码了运动信息？
关键发现与贡献：
- 通过对三个代表性骨干做 probing，证明静态-动态分离可从冻结 token 表示中解码出来；对 π³X 的秩限制与谱分析显示运动线索集中在一个低维子空间；
- 提出 Probing-based Motion Distillation（PMD）：将相对固定锚 token 的成对运动状态兼容性分数转化为稠密运动掩码，可选 SAM2 精化；
- 仅用 160 段 YouTube-VOS 视频、单张 16GB GPU 训练，即可零样本迁移到 DAVIS、SegTrackv2、FBMS-59 而无需目标基准微调；
- π³X-PMD+SAM2 在 DAVIS17 达到 81.9/92.3（J-M/J-R），SegTrackv2 86.4/99.3，超越免训练启发式方法，接近参数量大得多的监督/自监督方法（如 GeoMotion），且训练数据与模型规模小得多。
结论：从冻结 3D 基础模型解码运动可以非常轻量且数据高效。
「研究」频道最新
- LeRoPE 论文：把 RoPE 频率改为可学习参数，省 3.4% 算力 — eliebakouch · 2026-10-30
- ML Commons 推出「基准即服务」，试图终结刷榜时代 — RexDouglass · 2026-10-30
- Redwood 发布 Screwtape:252 次运行造出 35 个能骗过 Agent 监控器的攻击 — dl_weekly · 2026-10-30
- DCOCO 论文：并行投机解码加速至 6.6 倍，吞吐超竞品 6-23% — burny_tech · 2026-10-30
- Datology AI 提出可控知识截止的合成数据方案,解预训练时间旅行难题 — josh_wills · 2026-10-30
- Grafting 任务向量求和：不到 500 美元给模型做宪法训练 — burny_tech · 2026-10-30