训练无关的 TAI 修复 VideoLLM 时序推理:时序信息中层形成却逐层消退
Youngwoo Shin · hf · 2026-10-02
研究揭示 VideoLLM 时序推理弱的结构性原因并给出免训练修复:
- 发现:把视频帧倒序后,本应反转答案的变换常不改变预测。作者定义时序分歧向量 τl 追踪各层表征差异,发现其在中层达峰、向输出层递减——即模型在中层获取时序信息却无法维持到输出。
- 方法 TAI(Temporal Activation Injection):在峰值层提取 τl,按测得的衰减曲线向后续层再注入,无需任何训练。
- 结果:在 3 个 VideoLLM 与 4 个基准上持续提升时序推理,对非时序任务几乎无影响。代码开源。
「多模态」频道最新
- AI 单条提示词还原 40 人 VFX 片场,假花絮成以假乱真关键 — anthara_ai · 2026-10-02
- camenduru 开源本地工具:视频一键转 8 方向游戏精灵图 — camenduru · 2026-10-02
- Qwen Image 2.1 宝丽来风格实测，附三组完整提示词 — CommonEye1834 · 2026-10-02
- 粉笔肖像明暗法提示词:用拖影与深黑阴影雕刻画面 — LudovicCreator · 2026-10-02
- Seedance 2.0 实测:一段视频看生成效果 — Sultan_Model · 2026-10-02
- Kling 4.0 视频连贯性获好评：已能胜任商业级 AI 视频 — CurieuxExplorer · 2026-10-02