Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs
Youngwoo Shin, Yusung Ro, Minseo Kim, Junmo Kim
NeurIPS 2026
cs.CV, cs.AI
2026-10-01
KAIST 发现 VideoLLM 的时间信号在中间层达峰后衰减,免训练把峰值层激活差注回后续层,三个模型时间推理普遍上涨。
VideoLLM 有个反复被观察到的缺陷:把视频帧顺序整个倒过来,时间类问题的标准答案会反转,模型的输出经常纹丝不动。此前的修补都绕开病因。训练派用专门的时间奖励做 RL(ArrowRL),推理派用对比解码(TCD、DINO-HEAL)拿失真输入的输出分布做修正,两边都把「模型不懂时间」当既成事实在外部矫正。KAIST 这篇先问了一个更基础的问题:失败发生在模型内部哪一层。用 logit lens(把中间层隐藏状态直接映射到词表)逐层看,倒放视频在中间层一度把正确答案的概率顶到最高,随后被后面的层翻掉。时间信息模型拿到了,只是没保住。问题于是从「不会」变成「在哪丢的」。
先诊断。对每个视频构造倒放副本,取最后一个 token(因果注意力下唯一看全了视觉与文本输入的位置)在第 l 层的隐藏状态,正放减倒放得到 temporal divergence 向量 τl,其归一化幅值 τ̂l 逐层连成 profile。Qwen2.5-VL-7B、Qwen3-VL-8B、InternVL2.5-8B 三个架构各异的模型给出同一条曲线:前层几乎无差异,中层到中后层陡然达峰,之后向输出层持续衰减。
两个对照确认了峰值属于时间推理。同一对视频只换问题,问「人在向下移动吗」这类时间问题峰值明显,问「室内还是室外」或「一周有七天吗」曲线压平;再用 attention knockout 逐层切断 last token 对前文的注意力,峰值层被切断时 ground truth 概率降幅最大,说明这些层的时间信息确实被预测使用。
干预方法 TAI(Temporal Activation Injection)按测得的衰减曲线设计:
| 模型(基线 → TAI) | TempCompass | TVBench | AoTBench |
| Qwen2.5-VL-7B | 73.4 → 75.6 | 44.6 → 46.6 | 62.9 → 63.7 |
| Qwen3-VL-8B | 77.1 → 78.0 | 49.9 → 52.6 | 67.4 → 67.6 |
| InternVL2.5-8B | 70.9 → 73.6 | 57.2 → 58.3 | 71.6 → 71.6 |
对照基线:Qwen2.5-VL-7B 上 TAI 的 TempCompass 75.6 高于 TCD(74.2)、DINO-HEAL(72.7),也压过需要 RL 训练的 ArrowRL(75.0);TVBench 的 46.6 略低于 ArrowRL 的 46.9。
比特均值更有说服力的是特异性。把 β 反号做 Anti-TAI,倒放敏感的三类大跌:Attribute Change -36.3、Order -27.4、Direction -12.6;倒放不变的 Action、Speed 变化都在 1 个点内。正常方向的收益同样集中在顺序敏感类(Order +3.9、Attribute Change +6.6),代价是 Qwen2.5-VL-7B 的 Action 微跌 1.7。通用能力没受伤:Qwen2.5-VL-7B 在 MVBench 从 54.5 升到 57.7。叠在 ArrowRL 训好的权重上仍能再涨(TempCompass +1.5、TVBench +0.9),与训练路线正交。注入 schedule 上,profile 权重的 75.6 高于均匀注入的 75.4 和反向的 75.1;β 在 0.1 到 1.0 全区间优于基线,0.5 后进入平台。
τ̂l profile 本身就是交付物:零标注、一次前向可算,任何暴露中间层的 VideoLLM 都能拿来定位时间信息集中层。TAI 免训练、代码已开源,单张 A6000 可跑,每个输入只多一次截断到 Lsrc 的倒放前向,可以直接叠在现有模型甚至 RL 训过的模型上。涨点幅度多在 1 到 3 个点,属于渐进改进;真正的价值是「先解释失败机制、再按机制干预」的完整路径,以及极低的接入成本。更普适的启示:模型中间层算出来的东西未必能活到输出层,测出衰减再补偿,这个套路值得在其他能力轴上复制。
作者自述只覆盖帧顺序这一种时间因素,空间推理、物体交互、音画对应都在范围外,推广到其他对比轴留作 future work。读下来另有几处要泼冷水。「三个 benchmark 一致提升」在 AoTBench 的 InternVL2.5-8B 上不成立,AVG 71.6 → 71.6 持平,只有 TemporalRelevant 子项微涨 0.2。每个输入要多跑一次倒放前向,虽提前退出,论文没有量化时延增幅。β 逐模型调定,profile 依赖 TempCompass 短视频对(实验统一 16 帧采样),长视频和真实影视素材下是否稳定没有验证。Action 类在 Qwen2.5-VL-7B 上被拖低 1.7 个点,「对非时间任务影响可忽略」的说法在个别子项上要打折扣。