Rethinking in Spikes: Mitigating Hallucinations in MDLMs with Step-Aware Decoding
Zhongxing Xu, Zhonghua Wang, Zhe Qian, Shiyan Su, Ming Hu, Xiaocheng Zou, Wei Feng, Mingquan Lin, Yuyin Zhou, Yifan Peng, Hamid Rezatofighi, Zongyuan Ge
cs.CL, cs.AI
2026-10-14
StepRefine只在去噪熵尖峰步用软嵌入修正且前向预算不变,四个扩散多模态骨干平均提升2.3到2.8个百分点。
多模态扩散语言模型(MDLM)从一整段掩码起步,每步并行预测被遮位置,提交一部分,其余继续遮住。双向注意力看得到图像和已写文本,幻觉仍常见。已有的免训练解码,要么做缓存和步数调度来省计算,要么全程重掩、或每步都换成连续表示。它们把各步不确定性同等看待,不区分轨迹上突然不稳的步。
平均掩码熵整体在降,下降并不单调。少数步相对邻近窗口陡增,称为熵尖峰(entropy spike)。尖峰很少,但 LLaDA-V 和 Dream-VL 上大约 80% 的幻觉词落在熵变超过局部均值加一倍标准差的区域。尖峰也靠前:LLaDA-V 上 71% 出现在前 50% 步,Dream-VL 上 62% 在前半程。这时大量位置仍是掩码,上下文很薄。
LLaDA-V 上,随机抽 10% 的步,把低置信度重掩码(优先提交最有把握的位置)换成随机重掩码,VStar、RealWorldQA、MathVista 明显掉点;只在尖峰步做同样替换,分数几乎不动。普通步的置信度排序有用。尖峰步上这个排序已经分不开候选,再取概率最大的词,就是在上下文最不牢的时候锁死。
StepRefine 不改权重,只改解码。每步先用掩码嵌入做一次前向,计算掩码位置的平均香农熵,减去上一步得到熵变。前面一个窗口内熵变的均值和标准差构成本地基线,当前熵变超过均值加一倍标准差,这一步标成尖峰。窗口主实验取 16。更短会被单步噪声带着乱触发,更长会把不同阶段揉平,分数在中等窗口之后开始震荡。
普通步仍取概率最大的词,按原策略提交。尖峰步改做潜在修正:分布不收成单个词,而是按概率对词嵌入加权平均,用软嵌入换掉掩码向量再前向。几种还在的候选因此继续看见图像和已写文本。相邻两轮在掩码位置上的平均 KL(两轮分布差多远)低于 0.01 就停,然后才离散解码。
修正花掉的前向从总预算里扣。某个尖峰做了若干轮,后面就少走同样多的步,总前向次数仍是预设的 256,生成长度也是 256,重掩码默认低置信度。计算是挪位置,解码长度不增加。固定每个尖峰修正 2、4 或 8 轮,没有哪个轮数在两个数据集上都最好;分布一稳就停,高于这些固定轮数。每隔固定比例插入修正,也不如只在尖峰触发,因为尖峰位置随样本变。
四个骨干为 LLaDA-V-8B、LLaDA-O-8B、Dream-VL-7B、LaViDA-L-8B。对照 CoTA、ReMix、WINO 都是不改权重的解码策略,只在 LLaDA-V 上完整比较。LLaDA-V 五项通用推理平均比基线高 2.8 个百分点。十二项主指标合在一起,四套骨干平均大约高 2.3 到 2.8 个百分点,幻觉分按满分折算后计入。
| 设置 | 指标 | 结果 |
| LLaDA-V 基线 / StepRefine | VStar | 55.5 / 58.6(+3.1) |
| CoTA / ReMix / WINO | VStar | 57.1 / 56.5 / 56.5 |
| LLaDA-V 基线 / StepRefine | MMVP | 40.7 / 45.3(+4.6) |
| LLaDA-V 基线 / StepRefine | MMHalu(0-6) | 3.35 / 3.50 |
| LLaDA-V 基线 / StepRefine / WINO | Bingo(1-5) | 2.71 / 2.93 / 2.96 |
| Dream-VL 基线 / StepRefine | VStar | 69.1 / 72.8(+3.7) |
| Dream-VL 基线 / StepRefine | MathVision | 26.7 / 30.9(+4.2) |
| LaViDA-L 基线 / StepRefine | MathVista | 47.0 / 47.2(+0.2) |
LLaDA-V 的 VMCBench 是 74.4,略低于 WINO 的 74.7。MMEval-Pro 从 68.4 到 71.6,ReMix 掉到 63.5。MMHalu 只从 3.35 升到 3.50。
和加速叠加时,加速比基本不动。Fast-dLLM 把 VStar 从 55.5 降到 52.4(8.45 倍),加上 StepRefine 回到 56.5(8.47 倍),MMVP 从 37.3 回到 42.0,高于未加速基线 40.7。dLLM-Cache 的 VStar 从 53.9 到 57.1,dKV-Cache 从 54.5 到 56.0。三套加速平均下来,VStar 约加 2.9,MMHalu 约加 1.6%(按 0-6 满分折算)。步数很少也还有增益:长度 256、只去噪 64 步,MMHalu 从 3.13 到 3.28。
可以直接挂到已经训好的 MDLM 上,不用重训,也不把每一步都改成连续表示。前向次数锁在原来的步数里,和 Fast-dLLM、dLLM-Cache、dKV-Cache、SparseD 叠用时加速比还在。Fast-dLLM 用速度换掉的准确率,在 VStar 和 MMVP 上被补回,并略高于原基线。
它只管离散掩码扩散在少数步突然不稳时的提交。语料里的事实错误、自回归视觉语言模型,都不在范围内。幅度是渐进的。MMHalu 这种 0 到 6 分的幻觉分,LLaDA-V 只多了 0.15。值在把步数从平稳段挪到置信度失效的尖峰。
主文没有局限专节。附录里的街景题显示,尖峰内多轮软修正仍会把灯色、车辆和时段写错。停下来只因分布不再明显变化,不因答案变对。初始分布若已偏向错的语义,多转几轮只会把错误候选变得更尖。
增益不匀。LaViDA-L 的 MathVista 只 +0.2,物理 +0.4,Geometry3K +0.4。和 CoTA、ReMix、WINO 的对照只做了 LLaDA-V,四个模型都在 7B 到 8B。
表 3 和表 5 的 top-k 重掩码,按栏序读是下降:LLaDA-V 的 MMHalu 从 3.41 到 3.27,Dream-VL 从 3.39 到 3.25。正文却写三种重掩码都有提升。随机与低置信度两行确实在升(2.97 到 3.08,3.35 到 3.50)。若表格没有排反,收益就依赖原本的提交策略,正文没有解释。
表里没有误差条和多种子。八成重合是观察统计。只在尖峰步做软修正能抬分,幅度有限,也没有「尖峰步只推迟提交」的对照。窗口 16、均值加一倍标准差、KL 停在 0.01,都是在这四套模型上取的。代码写明录用后再放。