NeurIPS 论文系统研究:低资源视频任务该把时序上下文放在哪一层

HildeKuehne · x · 2026-11-03

Hazel Doughty 与 Luc Sträter 的 NeurIPS 2026 论文系统研究了视频基础模型适配策略:在标注数据有限的低资源场景下,时序上下文应该放在骨干网络、PEFT 适配器还是探测头(probe)中?

研究覆盖外观主导、运动主导和空间稠密三类任务,比较了四种时序建模分配方式(静态骨干+时序适配、时序骨干+静态适配、匹配式时序上下文、分布式时序上下文)。结论指出:过去视频 PEFT 多针对图像预训练模型,而标准 PEFT 同样可用于视频表征,但两种设置很少被直接对比;时序上下文在模型各组件间的分配方式对适配效果有重要影响。