A*STAR 开源 M³OPD:多教师同策略蒸馏训练多模态推理模型
Nguyen Quang Trung · hf · 2026-11-18
ASTAR 与 VinUniversity 发布 M³OPD-Reasoner,一套完全开源的多模态推理后训练配方。
- 方法:多教师同策略蒸馏(MOPD)让单个学生模型从数学、图表理解、视频三个领域的教师学习,且学习对象是学生自己生成的回答。从 Qwen3.5-9B 出发,先用 GSPO 直接训练各领域教师,再蒸馏进一个学生。
- 数据:自建 M³OPD-SFT-1.35M(SFT)与 M³OPD-RL-193K(带可验证奖励的 RL)两个数据集,并针对 21 个基准做了去污染。
- 结论:MOPD 学生在自己领域接近对应教师,平均优于混合训练基线;在 MOPD 学生上继续做 MixRL 仍能提升且不崩溃,两个阶段可串联复用同一批数据。全部数据、训练代码与各阶段 checkpoint 已开源。
「多模态」频道最新
- 前配音演员推出可逐句调控情绪语速的 AI 语音产品 Voyager 1 — Scobleizer · 2026-11-18
- 用 MiniMax H3 重现《爆裂鼓手》排练室紧张氛围 — hucun16 · 2026-11-18
- 用 Claude 加 Unreal Engine 5.9 MCP,一天做出游戏续作原型 — TomLikesRobots · 2026-11-18
- Suno 推出 Visuals 功能,AI 音乐自动配 AI 生成的画面与视频 — The Decoder · 2026-11-18
- Osmo 宣称 AI 嗅觉达到人类水平:1000 万条气味标注训出首个嗅觉基础模型 — MIT Tech Review AI · 2026-11-18
- AURA 2.0 发布:流式视频模型学会主动开口说话并调用工具 — Shuhan Li · 2026-11-18