2T token 多模态继续预训练：文本+音频+视频统一训练配方公开
smolix · x · 2026-11-06
一条多模态 LLM 训练配方：
- 继续预训练：在约 2T token 的文本、音频与视频混合数据上对文本 LLM 做 continued pretraining；
- 后训练：用 RL（GRPO）分别训练对话、时机把握、任务委派与任务完成等多个专家模型，再通过 on-policy 蒸馏合并进一个学生模型；
- 自我改进闭环：在带噪声的模拟对话环境中跑 self-improvement loop。
作者附了 write-up 与技术细节链接，对做全模态模型后训练的人有直接参考价值。
「多模态」频道最新
- Adobe HueRistic 获 UIST 最佳论文荣誉提名：AI 自动调配直播间灯光颜色 — rufusd · 2026-11-06
- 快手可灵团队等提出 JointLight：视频换光时人物与阴影保持真实 — jiqizhixin · 2026-11-06
- 作者用 AI 生成 GTA 6 主角 Lucia 的戏仿视频「Lumia」 — marlisstudio · 2026-11-06
- AI 复古情景剧《Joan & Betty Show》第五集「北京烤鸭」上线 — CigaretteBurnXX · 2026-11-06
- AI 绘制虚构游戏《The Last Sticker Shop》:贴纸藏记忆彩蛋 — tisch_eins · 2026-11-06
- 内部泄露：Gemini Omni Pro 支持 4K，Omni Flash 1.2 随时可能上线 — koltregaskes · 2026-11-06