MIT-IBM 团队揭示多模态模型暗缺陷:喂纯噪声也能答对题
MIT News AI · rss · 2026-11-21
MIT News 访谈 MIT-IBM 计算研究实验室(联合负责人 Jim Glass)多年多模态基础模型研究。
核心发现
- 最先进多模态模型(如 GPT-4o)在少样本设定下无法定位特定物体;团队提出「假名替换」技巧(如把 airplane 换成 Elizabeth),迫使模型摆脱先验知识、真正看图。
- 音频 LLM 基准存在「作弊」:模型常不看音频、只靠问题与选项猜答案——喂入纯随机噪声仍表现良好即是证据。团队据此开发了让模型更关注音频的训练方法。
- 早期工作展示机器可以在几乎无标注下学会跨模态对应(音频-图片匹配/不匹配训练、掩码重建),覆盖语音、一般音频到视频。
方法论取向:团队无力自建大基础模型,主打弱监督/少标注数据的高效适配,包括 test-time 强化学习,并持续发布公开基准。
下一步:转向全双工语音对话系统——边听边说、更接近人类交互方式的模型。
「多模态」频道最新
- 自拍视频秒变全息动画:博主用 Gemini+Scenario 打通动捕管线 — AIandDesign · 2026-11-21
- 开源视频编辑器 Velorn 0.4:GPU 闲时共享 + 手机远程 + 内置 Agent — VisualFXMan · 2026-11-21
- AI 复刻中世纪泥金装饰手稿,把「过去」重新变活 — repligate · 2026-11-21
- 用 Gemini Neon 生成 SpaceX 猛禽 3 引擎 3D 模型,直接在 Vision Pro 里查看 — dreamwieber · 2026-11-21
- 人绘还是 AI 生成?一组对比图考眼力的 Reddit 猜谜 — RainbowSovietPagan · 2026-11-21
- Muse Code 上线 3D 模型生成,可直接 3D 打印当游戏素材 — charlieholtz · 2026-11-21