FramePack-U:常量内存压缩任意长视频,VLM长视频理解提升13%
UNC-ChapelHill · hf · 2026-10-14
UNC-Chapel Hill 等机构提出 FramePack-U,一个免训练的视频帧打包框架,解决长视频理解中视觉 token 随帧数线性增长导致的内存与延迟瓶颈。
核心思路
- 对每帧按与文本 prompt 的语义相关性打分,并以多样性驱动方式排序筛选
- 将选出的帧以不同分辨率打包进固定长度上下文窗口,实现常量内存
- 无需微调或修改架构,推理时直接接入现成 VLM
效果:在 LongVideoBench、MLVU、Video-MME 三个基准上,对 Qwen3.5-35B-A3B(128 帧预算)分别提升 +12.9%、+10.6%、+9.7%,且跨模型家族和参数规模稳定优于 token 压缩与关键帧选择基线。代码与数据已开源。
「多模态」频道最新
- Midjourney v8.2 红蓝模糊摄影风实测：模糊动态人物质感惊艳 — azed_ai · 2026-10-14
- BVB 基准:让 agent 用 Blender 重建 288 段真实视频来检验视频理解 — SonglinYang4 · 2026-10-14
- Google 发布 Gemini 4 Argon,网友已用它狂造 3D 世界和游戏 — minchoi · 2026-10-14
- 开发者花一个月迭代自训视频模型的推理与训练流程 — pixlpa · 2026-10-14
- Correction Training 让扩散模型摆脱 CFG，循环架构渐成新共识 — CSProfKGD · 2026-10-14
- SALD:无需教师网络,扩散模型自参照优势学习框架 — IITK · 2026-10-14