HEAL：多模态幻觉源于「协同头」信息分布漂移，注入校准因子可缓解

SUAT-SZ · hf · 2026-09-21

论文提出 HEAL，一种多头层面的信息解耦与校准方法，用于识别并缓解多模态大模型的幻觉。方法上先对多头输出做因果噪声干预过滤因果冗余头，再通过反事实双重差分将剩余头解耦为四类。关键发现：幻觉发生在信息分布偏离「协同头」内健康均衡时，与模态专属头的数量或强度关系不大。据此 HEAL 向协同头的 value 向量注入动态信息校准因子，主动调节视觉-语言依赖，把输出分布拉回事实证据。实验显示 HEAL 在多个 MLLM 上有效降低幻觉，且路径简单可解释。