清华 ACMMM 论文：短回答幻觉源自视觉特征而非语言先验
新智元 · wechat · 2026-09-20
清华大学团队（朱军、胡晓林等）在 ACMMM 2026 提出多模态大模型物体幻觉的新机制「视觉源幻觉」及解法 ACFT。
核心发现
- 过去主流解释把物体幻觉归咎于语言先验，但该解释只适用于长输出场景；当模型只回答 Yes/No 时，幻觉根植于视觉特征提取本身
- 诊断证据：幻觉样本的图文嵌入余弦相似度显著更低（0.158 vs −0.122）；注意力模式系统性反常——物体存在时注意力过度分散（熵值高 5.1%），不存在时错误聚焦（熵值低 6.2%）
- 因果验证：给视觉编码器加噪/降采样使 POPE 准确率从 0.842 降至 0.739，换更强 SigLIP 编码器则升至 0.864
方法
- AHAF：用 PGD 对抗扰动把不引发幻觉的图像定向「翻转」成引发幻觉的图像，构造完全对齐的正负样本对，同时兼作诊断探针——证明 MLLM 的视觉表征已紧贴幻觉决策边界
- ACFT：基于对抗对比样本做嵌入空间对比微调
效果
- 仅用 COCO 0.9% 数据量、推理零额外开销，在 POPE、MME 及四个描述级基准上于 LLaVA、MiniGPT-4、Qwen2.5-VL 上超越基线；同样 3000 张图训练，ACFT 比 OCFT 准确率最高领先 35.8%
- 结论：多模态可靠性不能只在语言/解码侧补救，让模型「看得更准」才是关键
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12