腾讯混元提出原生多模态预训练最优缩放规律

腾讯混元团队最新发表论文，系统研究了从零开始的原生多模态预训练。研究聚焦于在固定算力预算下，vision-language模型的最优模型规模、token数量与数据配比。结果表明，语言与视觉等多模态融合训练的最小损失遵循可预测的计算规律，为未来大规模多模态模型的算力分配与架构扩展提供了理论指导。

2026-07-27 ~ 2026-07-28 · 2 条相关

• 腾讯混元梳理原生多模态预训练的缩放规律 — Tencent-Hunyuan · 2026-07-27
• 新论文给出原生多模态预训练的最优缩放规律 — burny_tech · 2026-07-28