StepRefine:利用熵尖峰感知解码步,缓解多模态扩散语言模型幻觉
Cornell0917 · hf · 2026-11-16
Monash、Cornell、UC Santa Cruz 等多校团队提出 StepRefine,一种即插即用的解码策略,用于缓解多模态扩散语言模型(MDLM)的幻觉。
核心观察:掩码位置的不确定性在迭代去噪中总体呈下降趋势,但少数去噪步会出现与幻觉密切相关的局部熵尖峰。作者假设离散 token 提交会在掩码位置丢弃分布信息,限制后续交互;并通过测量每个去噪步熵相对邻近时间窗口的偏差来识别异常步骤。
方法在离散去噪与潜空间精炼两种模式间按熵尖峰和分布稳定性切换,从而在不重训模型的情况下降低幻觉。
「多模态」频道最新
- H3 Continuity Studio 1.0 发布:ComfyUI 开源长视频连续性工作流 — rambrogi · 2026-11-16
- 设计师复盘 AI 海报作品:从复古印刷感到「一个 Agent 搞定一切」 — evilrabbit_ · 2026-11-16
- AI 全流程短片实操复盘:19 小时、约 93 美元做出 5 分钟时尚大片 — erikbryn · 2026-11-16
- 老录像修复实测:Relay VSR 提速近 6 倍,画质不输 Starlight — reeight · 2026-11-16
- KJ 为 MiniMax H3 图像模型推出 vae_approx 预览 — VRGoggles · 2026-11-16
- Fable 5.2 学会跑步:30 秒 3D 骷髅奔跑动画用 Vork 引擎渲染 — FinanceYF5 · 2026-11-16