免训练剪枝 V-CAST:25% 视觉 Token 保住 98% 长视频理解,预填充提速 51%

量子位 · wechat · 2026-11-16

中山大学、香港理工等团队提出 V-CAST,在视觉 Token 进入语言模型前做筛选剪枝,全程免训练、即插即用。核心设计:按相邻帧特征变化的局部曲率分配每帧 Token 预算(动作转折处多留、重复背景少留),帧内用「与整帧平均特征差异 + 激活强度」两个互补信号选 Token,并保留原始时空坐标。实验:Qwen3-VL-8B 32 帧、25% 保留率下达原模型 98.2%;256 帧长视频评测领先次优方法 1.5 分;768 帧音视频实验保留 97.1% 表现、总推理耗时降 50%;剪枝还让原本 OOM 的 Qwen3-VL-30B-A3B 64 帧评测得以完成。预填充延迟降低 51.2%,峰值显存降 13%。曲率预算分配可独立移植到 VisionZip、VidCom² 等方法并带来提升。代码已开源。

所属事件:V-CAST 免训练剪枝视觉 Token,长视频理解预填充提速 51%(2 条相关)→

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →