Meta 与 NYU 论文:视觉先验非必需,多模态 LLM 关键在专用视觉容量
burny_tech · x · 2026-11-16
Meta 与 NYU（Ellis Brown、Hu Xu、Luke Zettlemoyer、Saining Xie 等）发布论文《Unbundling Multimodal Vision Encoding》，在统一数据与算力的受控框架下，把视觉编码器捆绑的三个设计选择拆开验证：
- 视觉先验不必要：从零与语言模型联合训练的编码器，效果与单独预训练的编码器持平，且省去独立训练阶段。
- 专用视觉容量才是关键：即使把骨干网络扩大编码器同等参数量，无编码器架构在视觉理解上仍然落后（0.6B–6.4B 规模下，无编码器架构需约 3 倍训练算力才能追平）。
- 容量无需放在融合之前：把视觉模块以 in-fusion 方式加入骨干早期层即可达到独立编码器的水平，并在 0.4B 视觉容量设置下将首 token 延迟降低最多 13%。
结论：支持「与骨干联合训练、放置在骨干早期」的专用视觉容量方案。
所属事件:Meta 与 NYU 研究:多模态 LLM 未必需要预训练视觉编码器(2 条相关)→
「多模态」频道最新
- 1.8GB 本地 TTS 模型 Tontaube V1.1：CPU 即可克隆语音朗读整本有声书 — solyarisoftware · 2026-11-16
- Fable 5.2 生成电影级 3D 场景:100 万 token、渲染 5 小时 — Dr_Singularity · 2026-11-16
- 用户实测 Fable 5.2 作画：纯 JavaScript 绘出星舰发射主题画 — brandon_galang · 2026-11-16
- 索尼发布迄今最强 SpeechLLM Walrus，识别翻译理解全面 SOTA — mittu1204 · 2026-11-16
- Fable 5.2 试水马赛克风格，拱桥藏斐波那契数列巧思 — repligate · 2026-11-16
- AI 实验：用 Minimax H3 + ACE-Step 打造两分钟无叙事氛围循环短片 — magratheya_64 · 2026-11-16