新论文给出原生多模态预训练的最优缩放规律
burny_tech · x · 2026-07-28
- 这篇论文系统研究了从零开始的原生多模态预训练，重点是 vision-language 模型在固定算力下的最优模型规模、token 数与数据配比。
- 结果表明，语言目标和多模态目标遵循不同的缩放规律：语言侧的最优分配对数据构成相对稳定，而多模态侧对数据混合比例更敏感。
- 论文指出，偏文本的数据混合只有在更大规模下才更算力高效，因此在追求更强多模态能力时，最优资源分配会更倾向于更大的模型容量。
- 作者还发现，原生多模态预训练会带来正向迁移，提升纯文本空间推理能力，并增强鲁棒的多模态 in-context learning。
所属事件:腾讯混元提出原生多模态预训练最优缩放规律(2 条相关)→
「多模态」频道最新
- AI 生成趣图:特斯拉 Roadster 悬浮飞过保时捷,Nokia vs iPhone 汽车版 — vaibhavbetter · 2026-10-16
- Midjourney 多风格权重混搭参数，调出电影感光影人像 — michaelrabone · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- turbopixel 用图层+蒙版重做 AI 修图,4GB 显卡可跑 9B 模型 — 3unjee · 2026-10-16
- 开源 Manga Screen:用 ComfyUI 把插画做成真漫画网点印刷效果 — KnowledgeBig4364 · 2026-10-16
- 橘猫版「私生子之战」:AI 换头重制权游名场面 — AxonkaiLab · 2026-10-16