探究多模态预训练底层机制：135亿参数模型揭示模态竞争与视觉惰性
khademinori · x · 2026-08-07
当前大多数大模型仍以纯语言预训练为起点，直接进行原生多模态训练面临极易出现的不稳定性和模态竞争等挑战。本研究系统拆解了多模态预训练的底层物理机制，主要探讨了四个维度：
- 知识流动：跨语言、理解与生成的知识转移具有高度不对称性，且依赖于具体概念。
- 模态协同与竞争：任务复杂度和架构参数共享决定了不同模态间是相互促进还是相互竞争。
- 早期统一：在预训练初期就同步融合视觉等模态，效果远优于后期或顺序训练。若视觉路径介入过晚，模型会产生“视觉惰性”。
- 配方与规模化验证：基于受控环境的洞察，研究团队构建了高效的预训练配方，并在 2T tokens 数据量上成功训练了 135B 参数的 MoE 模型以验证其扩展性。
所属事件:Meta 研究揭示多模态预训练底层机制(4 条相关)→
「研究」频道最新
- 研究发现:想象疼痛无法重现真实疼痛的体位选择性神经模式 — AnnaCiaunica · 2026-10-16
- Simplex Diffusion Models 论文作者周一开讲 — LucaAmb · 2026-10-16
- 开源工具用 pass/fail 自动复算论文指标，7 项指标实测 4 过 1 挂 — jwt0625 · 2026-10-16
- 藤洋之介公开演讲:从 AI 智能体迈向 Agentic Robotics — HirokatuKataoka · 2026-10-16
- 数学只是语言吗：一场关于 LLM 为何擅长数学的争论 — LucaAmb · 2026-10-16
- 阿里开源 OpenGCUA:全栈开放通用电脑操作 Agent,OSWorld-v2 均分提升 19.6 — Tongyi-MAI · 2026-10-16