NAVER 提出 OmniCatalyst:全模态模型「知道却说不出口」,自生成文本补齐
naver-ai · hf · 2026-10-14
KAIST 与 NAVER AI Lab 的论文发现全模态 LLM(Omni-LLM)存在「knows-but-cannot-say」现象:模型能正确感知视觉、音频、IMU 等非文本模态的信息,却无法在回复中表达出来。
- 提出 Token-level Modality Alignment(TMA)指标,度量各模态表征与响应 token 的对齐程度
- 分析显示非文本表征与响应 token 对齐更低、获得的注意力更少,解释了模态偏好不均
- 据此提出 OmniCatalyst:先用模型自生成文本「翻译」非文本输入再推理,在七个 Omni-LLM 上平均提升 7.29%,模态偏好更均衡
- 进一步分析表明知识抽取阶段能提高 TMA,即改善对齐让非文本知识更易被调用
「多模态」频道最新
- 又有测试者把 three.js 游戏移植到 Kaigen，海边小品画风获赞 — gdechichi · 2026-10-14
- 港大与腾讯 IEG 开源 Multics:多人共享世界模型,4 人训练可推 10 人 — Scobleizer · 2026-10-14
- MiniMax Design Agent V3 上线:创作成本降 30%,支持跨对话复用素材 — Hailuo_AI · 2026-10-14
- Meta-Video 指出视频理解评测黑箱:抽帧、后端、温度都会左右得分 — HildeKuehne · 2026-10-14
- Reddit 实测：QwenImage 2.1 编辑保身份好，可补 prompting 短板 — Cautious_Chicken_604 · 2026-10-14
- Seedance 2.5 实测：精灵唱歌森林小动物跟随，效果细腻 — azed_ai · 2026-10-14