Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
Donghyeon Cho, Joowon Kim, Seungho Shin, Eunho Yang
cs.CV, cs.AI, cs.LG
2026-10-27
免训练解码策略 LOWN 每步用无图前向校验上一次带图预测,只在分歧时重算图像,LLaDA-V 十个基准保 99.6% 分数、解码算力降到 0.35 倍。
LLaDA-V 这类扩散视觉语言模型(DVLM)从全遮蔽的回答出发,每个去噪步都对「图像 + 提示 + 部分回答」做一次完整前向。双向注意力让自回归模型现成的 KV cache 用不上,每步都从头算,而视觉 token 占输入的 89-97%,不含图像的前向只花 3-10% 算力:解码的大头花在反复处理一张不变的图上。已有路线分三类,视觉 token 剪枝(RedVTP、ZOO-Prune)删掉部分图像 token、信息永久丢失且剩下的每步照算,中间状态缓存(Fast-dLLM)复用跨步计算,解码调度(KLASS)每步多解几个 token。三条路都在让带图前向更便宜或更稀疏,没有一条问过:当前这步到底需不需要图?
KAIST 团队先做测量。沿 LLaDA-V 的解码轨迹每步同时跑带图与不带图两次前向:被解开的位置上 83.4% 两边给出同一个 top-1 token;去掉图只改变 22.8% 步骤的解开决策,MMBench 低至 7.9%,DocVQA 高至 43.8%,且需要图的步骤聚在解码早期、不周期出现。固定调度对不上这种轨迹,图像访问必须按输入、按步骤自适应。
LOWN(Look Only When Needed)把「这步要不要看图」和「解开几个 token」拆成两个决策,用一条免训练、免阈值的规则同时回答:
一次认证同时近似检验两件事:这个 token 不需要图;响应状态变了之后 anchor 仍然有效。两边一致即可,不需要绝对置信度阈值。认证会漏判,一步旧的 anchor 有 4.1-11.0% 的认证 token 被新 FULL 推翻,LOWN 自身轨迹上是 2.2-4.7%。分歧优先的顺序在补这个漏洞:图像真正改变预测的位置最先被解开,不会被推迟。
十个基准覆盖数学推理、科学问答、图表、文档与开放描述,所有加速方法都拿到至少 LOWN 的算力预算:
| 方法(LLaDA-V,等算力) | 相对分数 | 相对解码 FLOPs |
| LOWN | 99.6% | 0.353× |
| ZOO-Prune | 94.2% | 不低于 LOWN |
| RedVTP | 93.0% | 不低于 LOWN |
| KLASS | 91.9% | 不低于 LOWN |
LOWN 在八个基准上分数最高,四个超过不加速的基线,逐项封顶 100% 后平均 98.6%。LOWN 一条规则跑完全部基准,对照里的 KLASS 用的是逐基准调过的阈值。真实延迟平均降 57.4%,最高 73.2%。
组合与迁移:叠加 RedVTP(保留 50%)后到 98.3% 分数、0.223× FLOPs,在 RedVTP 基础上再砍 57.6% 算力;叠加 Fast-dLLM 缓存,生成时间再降 38.1-50.1%,合计比模型单独快 5.6-7.0×,但三个任务分数都低于 Fast-dLLM 单独使用,LLaVA-Bench 掉 5.0 分;规则原样迁到 LaViDa,保 99.7% 分数、0.174× FLOPs;视频模型 VidLaDA-8B 在 MLVU 拿 43.3 分,反超基线的 41.8。
消融把收益拆开:视觉路由单独就省 27-68% FLOPs,自适应接受(整段解开加分歧优先)再省 21-43%。固定调度对照里,Period 4 在 MathVista 用相近算力低 4.0 分;对 FULL 次数匹配的随机调度,LOWN 质量高 4.9-13.0%。只在必要步骤看图的 oracle 成本是 0.33×,LOWN 实测 0.35×,已贴近这个上界。
这是纯解码层的改动,不动参数、不动注意力结构,LLaDA 系 DVLM 即插即用。核心卖点是与剪枝正交:剪枝降低每次带图前向的成本,LOWN 降低带图前向的频率,收益相乘。组合后可以用更保守的剪枝率同时赢质量和算力,MathVista 上 RedVTP 保留 50% 加 LOWN 是 54.9 分、0.195× FLOPs,好于剪到保留 30% 的 RedVTP 的 51.7 分、0.354×。
对剪枝还有一个结构性优势:剪枝在解码前永久删信息,LOWN 只是某些步骤不看,之后随时能回看完整图像。细粒度读图任务上差距最明显,定性例子里 RedVTP 把关键视觉证据剪掉后流畅地答错,LOWN 答对。对要部署扩散 VLM 的团队,这是一条不动模型、能与现有加速栈叠用的省算力路径;论文也借此把「图像访问调度」立成扩散 VLM 推理效率的一条新轴。
作者自述三条:复用的 anchor token 可能与新算出的 FULL 预测不同,anchor 越旧越可能,DocVQA 上八步旧的 anchor 不一致率达 25.3%(实践中 92-97% 的 token 用的是上一步的 anchor,最老五步);图表和文档类任务视觉依赖持续,省算力幅度明显缩水;总成本在解码前定不下来,需要多少次 FULL 由同一套规则现场决定,只能靠剪枝保留率间接控制。
解读层面还有两点没被验证:实验全部是 batch size 1、贪心解码、关掉 classifier-free guidance 的设置,常见部署配置下的表现没有数据;与 Fast-dLLM 的叠加在三个任务上全部低于 Fast-dLLM 单独使用,叠加并非免费。迁移只覆盖 LLaDA 系骨干(LLaDA-V、LaViDa、VidLaDA),其它架构的扩散 VLM 还是空白。