KAIST 提出 LOWN:扩散 VLM 解码省 65% 算力几乎不掉分
kaist-ai · hf · 2026-10-30
KAIST AI 的论文 LOWN（Look Only When Needed）针对扩散视觉语言模型（DVLM）的低效问题：模型在每个去噪步骤都重复处理全部输入，而视觉 token 占输入的 89–97%，绝大部分计算花在反复看同一张图上。
- 作者实测 LLaDA-V：逐步对比有图/无图的预测，发现去掉图像后只有平均 22.8%（最低 7.9%）的步预测会改变——多数步骤其实不需要看图。
- 方法：LOWN 在每步先不看图预测被遮 token，只有当预测与上一次基于图像的预测不一致时才处理图像；一致即为旧预测「认证」，认证通过的数量决定本步解遮多少 token。是否需要看图因基准而异，因此自适应决策优于固定调度。
- 结果：无需训练、无需调阈值，LOWN 在 10 项基准上保留 LLaDA-V 99.6% 的分数，同时解码 FLOPs 平均降至 35.3%，并可跨 LLaDA 系列 DVLM 泛化，与视觉 token 剪枝方法正交可叠加。
「Infra」频道最新
- Rapid-H3 让 MiniMax-H3 在单张 DGX Spark 上出片提速 3-5 倍 — vchauhan_ · 2026-10-30
- 字节 Seed 论文:权重归一化训练收益源于有效学习率轨迹 — ByteDance-Seed · 2026-10-30
- 96GB 显存整机竟可能比单买显卡还便宜 — chemist_slime · 2026-10-30
- Databricks vs Snowflake 梗图：数据栈内卷不如把数据扔进 S3 — cto_junior · 2026-10-30
- YC 发布新 RFP:挖金「气隙经济」,把前沿 AI 带进国防银行医院 — Y Combinator · 2026-10-30
- 上下文压缩的隐性成本：cache 过期后要全量重读 40 万 token — dotey · 2026-10-30