清华 ACMMM 论文：短回答幻觉源自视觉特征而非语言先验

新智元 · wechat · 2026-09-20

清华大学团队（朱军、胡晓林等）在 ACMMM 2026 提出多模态大模型物体幻觉的新机制「视觉源幻觉」及解法 ACFT。

核心发现

• 过去主流解释把物体幻觉归咎于语言先验，但该解释只适用于长输出场景；当模型只回答 Yes/No 时，幻觉根植于视觉特征提取本身
• 诊断证据：幻觉样本的图文嵌入余弦相似度显著更低（0.158 vs −0.122）；注意力模式系统性反常——物体存在时注意力过度分散（熵值高 5.1%），不存在时错误聚焦（熵值低 6.2%）
• 因果验证：给视觉编码器加噪/降采样使 POPE 准确率从 0.842 降至 0.739，换更强 SigLIP 编码器则升至 0.864

方法

• AHAF：用 PGD 对抗扰动把不引发幻觉的图像定向「翻转」成引发幻觉的图像，构造完全对齐的正负样本对，同时兼作诊断探针——证明 MLLM 的视觉表征已紧贴幻觉决策边界
• ACFT：基于对抗对比样本做嵌入空间对比微调

效果

• 仅用 COCO 0.9% 数据量、推理零额外开销，在 POPE、MME 及四个描述级基准上于 LLaVA、MiniGPT-4、Qwen2.5-VL 上超越基线；同样 3000 张图训练，ACFT 比 OCFT 准确率最高领先 35.8%
• 结论：多模态可靠性不能只在语言/解码侧补救，让模型「看得更准」才是关键

原文链接 →

「研究」频道最新

• WindTunnel 基准：WebMCP 让浏览器 agent 提速 2.5-7.5 倍、成本降 3-47 倍 — FinanceYF5 · 2026-09-20
• Gary Marcus 反驳 LLM「痛感方向」论文：语言聚类不等于会痛 — anilkseth · 2026-09-20
• MatSemNet 用 LLM 读 700+ 篇论文,把反应路径当序列加速催化剂发现 — bravo_abad · 2026-09-20
• 《模拟人生》Smart Zoi 用微调 1B 小模型驱动 50 个 AI NPC 实时决策 — Kangwook_Lee · 2026-09-20
• LlamaIndex 实测 100+ 模型文档解析，发布 ParseBench 评测集 — solyarisoftware · 2026-09-20
• ICLR 投稿量创纪录，作者收到的期刊邀稿邮件也创纪录 — wandedob · 2026-09-20

更多「研究」频道 AI 资讯 →