MMFlash 视觉感知投机解码让多模态模型无损加速至 3.58 倍
新加坡国立大学团队在 Hugging Face 发布 MMFlash,是一种面向视觉-语言模型的改进型投机解码框架。研究提出基于 KL 散度的「token 级视觉依赖度」度量,自适应上调依赖视觉信息的 token 权重,并对长视频输入采用稀疏注意力。实验显示该方法可实现最高 3.58 倍的无损推理加速,为多模态模型的效率优化提供了新思路。
2026-11-16 ~ 2026-11-16 · 2 条相关
- 新加坡国立大学 MMFlash:视觉语言模型推测解码提速 3.58 倍 — NationalUniversityofSingapore · 2026-11-16
- MMFlash 提出视觉感知投机解码,多模态模型无损加速最高 3.58 倍 — _akhaliq · 2026-11-16