Meta 揭示多模态预训练机制：仅用 5% 算力实现强劲生成
facebook · hf · 2026-08-06
Meta 发表论文，深入探索了原生统一多模态预训练的设计空间与底层机制，得出四项核心结论：
- 知识流向：揭示了语言、视觉理解与视觉生成之间跨模态的影响与不对称性。
- 协同与竞争：数据复杂度决定模态间是协同还是竞争，共享注意力和特定前馈层能促进协同。
- 早期统一：从早期阶段联合训练模态比后期对齐更有效，可避免模型依赖语言先验的“视觉惰性”。
- 高效配方：提炼出高效预训练配方，仅用 5% 算力即可实现强劲生成性能。
这些发现已在 2T tokens 训练的多个 13.5B MoE 模型上得到规模化验证。
「多模态」频道最新
- Seedance 2.5 淘汰盲抽：1-2 次生成可用长视频 — SarahAnnabels · 2026-08-06
- MiniMax H3 模型实测：生成高质量黑帮动画 — turkey_is_dead · 2026-08-06
- MiniMax H3 进阶影视工作流：从提示词到剪辑 — Tricky_Algae2625 · 2026-08-06
- 网友实测 LTX 放大器：低显存跑高分辨率图像 — AniZeee · 2026-08-06
- 马斯克宣布推出 Grok Imagine 图片生成功能 — elonmusk · 2026-08-06
- UniWorld-View: 基于视频扩散的大基线新视角合成框架 — Haiyang Zhou · 2026-08-06