腾讯混元梳理原生多模态预训练的缩放规律
Tencent-Hunyuan · hf · 2026-07-27
- 腾讯混元这篇工作研究的是：在固定算力预算下，从零开始训练原生多模态模型时，规模该怎么扩。
- 结论是：最小损失遵循可预测的 compute law，而 compute-optimal 的模型大小和 token 数都呈现幂律变化。
- 语言目标和多模态目标的缩放规律并不相同：语言分配规律对数据配比相对不敏感，但多模态分配规律会明显受配比影响。
- 文本更重的混合数据，只有在更大的模型规模下才更算力友好，因此最优资源分配会更偏向更大的模型容量。
- 作者还给出了一条效率前沿，明确描述模型大小、token 数与数据混合的配置关系；实验也显示这种原生多模态预训练能带来正向跨模态迁移，提升纯文本空间推理与多模态 in-context learning。
所属事件:腾讯混元提出原生多模态预训练最优缩放规律(2 条相关)→
「多模态」频道最新
- MiniMax 玩具恐怖短剧爆红:每次眨眼它就更近一步 — fa6637 · 2026-10-16
- AI 短剧《The Dining Car》第 4 集:世界末日,晚餐照常供应 — Acceptable-Day5621 · 2026-10-16
- Midjourney 实测:叠加 moodboard 档案调出暗夜电影感光影 — LudovicCreator · 2026-10-16
- Multigen 发布:给 GPT-Image 套上一致性图集生成前端 — Markasp · 2026-10-16
- 一句话生成 18 秒故障风产品发布片：动态大字+真实截图+踩点快切 — yihui_indie · 2026-10-16
- 四款开源图像模型横评:Z-Image 拟真最强,Krea 2 擅插画 — Ok_Contribution8157 · 2026-10-16