南大发布 Omni-Woodpecker：免训练修正全模态大模型跨模态幻觉

nanjinguniv · hf · 2026-10-26

南京大学与中科院团队发布 Omni-Woodpecker，一个 training-free 的框架，用于减少全模态大模型（Omni LLM）的跨模态幻觉（arXiv:2610.27103，MIT 协议开源）。

• 问题：当视频与音频证据与语言先验冲突时（如视频里的狗在跑、音频没有叫声，但模型因先验回答「狗在叫」），现有 VCD 式解码校准或 DPO 式对齐方法无法解决融合层面的冲突，且对齐会牺牲通用能力。
• 方法：① Query 条件下的冲突诊断——通过对冻结模型做视频/音频/视听遮蔽等 4 种探针，识别目标模态与竞争模态；② 证据-先验正交分解——在隐状态中分离 ground 证据与竞争先验，做 token-head 定位；③ 冲突自适应表征再平衡——对选定层的注意力头与残差状态做局部干预，抑制误导先验、恢复被忽略的证据，不改动任何模型参数。
• 骨干：支持 Qwen2.5-Omni-7B 与 VideoLLaMA2-AV，代码在 GitHub 开源。

原文链接 →

「多模态」频道最新

• DirCast：单一流式视频模型同时导播电竞直播并实时解说 — Zixian Gao · 2026-10-26
• NUS 等发布 CycleGRPO：用循环自验证强化学习统一区域理解与定位 — NationalUniversityofSingapore · 2026-10-26
• 预算 4000-5000 美元想本地跑 AI 视频生成，求购机建议 — dewsphere · 2026-10-26
• Clown Prophecy 工作流:先渲染镜头结尾,根治 AI 视频链式生成退化 — roychodraws · 2026-10-26
• 一张原画+一句话出骨骼动画，用 PINOC 做出网页 3D 小游戏 — lxfater · 2026-10-26
• ComfyUI 工作流包管理器 RenderRepo:给工作流加 apt 式包管理 — Dr_Gimp · 2026-10-26

更多「多模态」频道 AI 资讯 →