StepRefine:利用熵尖峰感知解码步,缓解多模态扩散语言模型幻觉

Cornell0917 · hf · 2026-11-16

Monash、Cornell、UC Santa Cruz 等多校团队提出 StepRefine,一种即插即用的解码策略,用于缓解多模态扩散语言模型(MDLM)的幻觉。

核心观察:掩码位置的不确定性在迭代去噪中总体呈下降趋势,但少数去噪步会出现与幻觉密切相关的局部熵尖峰。作者假设离散 token 提交会在掩码位置丢弃分布信息,限制后续交互;并通过测量每个去噪步熵相对邻近时间窗口的偏差来识别异常步骤。

方法在离散去噪与潜空间精炼两种模式间按熵尖峰和分布稳定性切换,从而在不重训模型的情况下降低幻觉。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →