MMFlash 提出视觉感知投机解码,多模态模型无损加速最高 3.58 倍
_akhaliq · x · 2026-11-16
Hugging Face 论文页发布的 MMFlash 针对视觉-语言模型(VLM)的投机解码提出改进框架。
- 作者先提出基于 KL 散度的「token 级视觉依赖度」指标,发现接受率随视觉依赖度从最低四分位的 46% 降至最高四分位的 22%,且多模态训练后差距依然存在
- 据此 MMFlash 自适应地提高 drafter 预测差的视觉依赖 token 的权重;长视频输入用稀疏注意力减少冗余计算并改善起草质量
- 在多个多模态基准上实现最高 3.58× 无损解码加速,比 EAGLE-3 高最多 195.4%,比 DFlash 高 17.1%
所属事件:MMFlash 视觉感知投机解码让多模态模型无损加速至 3.58 倍(2 条相关)→
「Infra」频道最新
- CBS 报道乌兰察布 AI 数据中心建设潮,规模堪比小城市 — armano · 2026-11-16
- 分析师:中国 AI 优势在开放模型+制造+能源的全栈协同 — ingliguori · 2026-11-16
- 晚点聊嘉宾判断:AI 基建已走完,应用层还早得很 — oran_ge · 2026-11-16
- 美对华芯片管制真实目标:不是拦GPU,而是卡死EUV自主化 — teortaxesTex · 2026-11-16
- 玩家用 DLSS 5 Double Pass + 路径追踪重塑《赛博朋克 2077》画面 — Promptmethus · 2026-11-16
- 微软开源 TokenEconomizer,为编码 Agent 降本 18%-31% — udmrzn · 2026-11-16