V-CAST:免训练剪枝视频 Token,保留97%表现、预填充提速51%
量子位 · wechat · 2026-11-17
中山大学、香港理工等团队提出 V-CAST,在视觉 Token 进入语言模型前进行时空剪枝,全程免训练、即插即用,针对长视频理解中重复画面吃算力、短暂线索易丢失的问题。
核心设计:
- 帧间预算分配:用平均特征的局部曲率衡量相邻帧转折,把更多 Token 预算分给动作/场景变化时刻,每帧保留最低额度。
- 帧内双信号筛选:结合与整帧平均特征的差异(保留局部小物体)与特征激活强度(保留显眼区域),无需计算 Token 两两相似度。
- 保留原始顺序与时空坐标:直接选 Token 子集而非合并池化,维持位置编码对应,实验证明优于局部池化。
实验结果(Qwen3-VL、LLaVA、Qwen2.5-Omni 共 6 个配置、10 个基准):
- Qwen3-VL-8B 32帧、保留 25% Token 时达原模型 98.2% 表现;256 帧长视频平均分领先次优方法 1.5 分。
- 768 帧音视频实验保留 97.1% 表现,总推理耗时降低 50%。
- 未压缩的 Qwen3-VL-30B-A3B 在 64 帧下 OOM,V-CAST 可完成并得 68.1 分。
- 预填充延迟降低 51.2%,峰值显存降 13.0%。
- 曲率预算分配可单独移植到 VisionZip、VidCom² 等方法并带来提升。
项目主页与代码已开源。
所属事件:V-CAST 免训练剪枝视觉 Token,长视频理解预填充提速 51%(2 条相关)→
「多模态」频道最新
- 用 MiniMax H3 在 ComfyUI 复刻《教父》办公室名场面,3 镜头 37 秒 — hucun16 · 2026-11-17
- 用 Magnific Spaces 工作流复刻复古风格,AI 造出 1973 年罐头豆广告 — charis_ai · 2026-11-17
- HexAnima 分支实现骁龙 8 Gen 2 NPU 离线生图,约 7 秒一张免 root — ilinkys · 2026-11-17
- 红黑末世巨脸生成图:眼窝里藏着一座燃烧之城 — LudovicCreator · 2026-11-17
- AI 动画短剧《The Croaky Inn》第二集上线,青蛙造型质感惊人 — jollypiraterum · 2026-11-17
- Idea 让 AI 聊天直出影级 3D 动画,月费 15 美元 — wordgrammer · 2026-11-17