OmniDelta 用技能驱动分配压缩多模态 token
Haoyang Huang · hf · 2026-07-29
OmniDelta 用技能驱动重分配多模态 token 预算
OmniDelta 是一个训练无关的多模态 token 压缩框架，目标不是只做“删 token”，而是先解决预算该分给音频还是视频、以及各自内部该怎么分的问题。作者认为，直接用查询和音视频 token 的相似度来做跨模态预算分配并不可靠，而固定的模态内均匀预算也容易漏掉关键信息、保留冗余内容。
方法
- 先构建音频技能池和视频技能池，根据查询意图动态调整保留预算。
- 再结合局部复杂度和时间冗余，在音频片段与视频帧之间重分配预算。
- 该方法可以和现有 pruning 策略叠加，在不改变总保留比例的前提下，改变预算花在哪里。
结果
- 在 4 个音视频 benchmark 和 2 个 Qwen2.5-Omni 模型上验证。
- 在不同剪枝比例下，取得新的准确率-效率 Pareto 前沿。
- 在 Qwen2.5-Omni-7B 上保留 25% token 时，GPU 显存下降 22.0%，端到端推理速度提升 1.64 倍。
「多模态」频道最新
- 四款开源图像模型横评:Z-Image 拟真最强,Krea 2 擅插画 — Ok_Contribution8157 · 2026-10-16
- AI 动画短片:被困地穴遭遇加密货币老哥 — PolicemansBeard · 2026-10-16
- Reddit 网友发问:为何没有专为 24-32GB 显存设计的视频模型 — BreadUndPeeTears · 2026-10-16
- 用 3000 条真实发布片喂 Claude:作者做 MCP 告别千篇一律的 AI 生成视频 — Designer_Landscape25 · 2026-10-16
- Mirelo SFX V2.0 上线 fal：文/视频生成音效并保留对白 — gorkem · 2026-10-16
- Moss-Image 出图实测:胶片质感家庭聚餐照几乎可乱真 — AgeNo5351 · 2026-10-16