TT-VidT: Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining
Shih-Ying Yeh, Daniel Z. Kaplan, Xuehai Wang, Fu-En Yang, Min-Hung Chen, Shang-Hong Lai
NeurIPS 2026 main track
cs.CV
2026-09-27
首帧锚点加每帧 8 个运动 token 的视频预训练，以一半 FLOPs 同时领跑 Jester、SSv2 等四个基准。
视频自监督预训练的对比常被诟病：比的是整套训练配方，架构、目标、数据量、时长、decoder 容量同时变，涨点记不到具体某一项头上。这篇把变量钉死：4 种 encoder × 6 种目标共 24 格，全部在 170M190M 参数、约 170 万条视频（OpenVid 加 Moments-in-Time v2）、8 个 epoch 的同一配方下训练，逐格评测。
动机的另一面更实质：大量动作识别标签靠单帧外观就能预测，场景、物体、衣着就够了，视频模型的分数可能来自外观记忆而非时序理解。要找的是产出 motion-prioritized 表征的组合：增益集中在依赖帧间变化的任务，外观主导任务上不掉队。
encoder 是双通道。宽通道是 DINOv3 初始化的 ViT-B/16，逐帧独立处理、不跨帧混合，负责外观。窄通道是 Temporal Transfer Layer：每帧挂 8 个可学习的 motion token，层内先与本帧空间 token 做自注意力，再做跨帧注意力。
预训练目标 Diff Compression：decoder 从「首帧完整空间特征 + 第 t 帧的 motion token」重建第 t 帧，损失用 diffusion/flow-matching。设计意图是信息瓶颈：锚点已经装了外观，运动 token 必须装锚点里恢复不出来的东西，否则重建不出来。与 VTok 的区别在于，VTok 的运动 token 是目标帧减关键帧的显式特征差，这里端到端学出来，架构里没有内置差分。
Decoder 单独预训练，且小的好：视频初始化的 DiT-S 把 Jester 从 ImageNet 初始化的 53.89 涨到 73.25，更大的 DiT-L 反而掉到 34.37。作者的解释是强 decoder 自己扛掉重建负担，motion token 传递的信息随之变少。
24 格里，无增强条件下只有两个组合进 Jester/SSv2 高档：ViT3D+MAE（标准 VideoMAE）和 TT3D+Diff Compression。配对消融显示这是交互效应：TT3D 配 MAE，Jester 从 53.89 掉到 11.07；Diff Compression 配 ViT3D，掉到 19.82。单独哪一半都不行。
最终对比（同一配方重训，frozen attentive probing）：
| 方法 | HMDB51 | ARID | Jester | SSv2 | D48 微调 |
| V-JEPA 2 | 22.70 | 16.01 | 27.41 | 10.59 | 8.02 |
| VideoMAE | 27.73 | 24.37 | 39.47 | 14.95 | 8.43 |
| DisMo（双增强） | 22.57 | 22.45 | 46.95 | 13.33 | 8.12 |
| TT-VidT | 25.15 | 37.47 | 73.25 | 25.92 | 18.63 |
对四个运动主导基准的相对提升在 54%121%：Jester 领先最强基线 26.3 分，Diving48 微调从 8.43 翻到 18.63。encoder FLOPs 上 TT3D 为 456.1 GF，DisMo 874.7 GF，VideoMAE 1012.6 GF，省 48%55%。
最有说服力的是 motion-inversion 探针：把 SSv2 中互为镜像类的视频翻转或倒放，重新编码后看 probe 是否跟着换答案。TT-VidT 维持原答案的片段不到 1%，基线在 9%43%，倒放时最明显；单帧 DINOv3 对照组倒放时 100% 维持原答案，探针有效。Jester 端到端微调 30 epoch 后，基线全收敛在 51.5 附近，低于 TT-VidT 冻结探测的 73.25，而它自己几乎没动（72.79）。多种子与预算翻倍检验下差距依旧。
整个研究约 4,580 GPU 小时（B200 为主），单个 encoder 预训练 87.7 小时，规模可复现。下游任务若由运动本身定义（手势、时序顺序、细粒度动力学），这个配方在同一算力下拿到 1026 分的领先。方法论上可搬走三样：受控的架构-目标扫描、逐片段验证模型是否真读时序的翻转探针、decoder 越大 encoder 运动信息越少的反直觉结论。最后一条对其他重建式预训练同样适用。
边界也清楚：HMDB51、IARD、EPIC-Kitchens 上不领先。它是有明确适用域的方案，不是通用视频 backbone 的替代品。
作者自列：单一数据配比、单一 170M190M 规模、扫描多数格子单次运行（只在典型配置做多种子检验），结论只对该受控预算负责；TT3D 配 DisMo 式双增强、外观探针替代方案、空间 encoder 部分解冻都没测。
读下来还有几处要留意。统一无数据增强对 DisMo 天然吃亏，其原生方案依赖运动保持增强，论文用双增强消融补了这格，但 TT3D 加双增强的组合空着。V-JEPA 2 是内部小规模重训，远离其原生大模型大数据工况，这行数字不代表它的真实水平。IARD 身份检验里 TT-VidT 的身份识别准确率 70.99%，基线都在 99% 上下，它确实丢掉了逐帧身份信息，对需要演员一致性的任务是净损失。EPIC-Kitchens 动词识别依赖物体和场景，VideoMAE 以 35.62 领先，TT-VidT 32.54。