专题 · FULL STORY

Muse 模型训练配方接连公开

围绕 Meta Muse 系列模型的训练细节持续披露：先是 Spark 技术报告曝光全程 logit 蒸馏与共蒸馏配方，随后工程师 TimDarcet 又公开 Glimmer 训练中期两步方案与 SFT 数据混合细节，训练路线图逐渐清晰。

2026-10-20 ~ 2026-10-21 · 2 集 · 4 条

第 1 集 · Muse 系列蒸馏训练配方：全程 logit 蒸馏细节曝光(2026-10-20,2 条)

Andrew Carr 分享 Muse Spark 技术报告中的蒸馏训练细节：base 模型通过从 Muse Spark 做 logit 蒸馏训练，采用共蒸馏方式。TimDarcet 进一步披露 Muse Glimmer 预训练阶段的配方：上下文长度 16k，约 525 TPP，前 95% 全程使用 Spark 模型的 top-256 logits 做纯蒸馏，最后 5% 才切换为真实 token 训练。

第 2 集 · Muse Glimmer 训练中期与 SFT 配方公开：131k 上下文、混合数据(2026-10-21,2 条)

TimDarcet 披露了 Muse Glimmer 训练 mid 阶段的两步走方案：mid phase 1 在预训练数据混合重演之上加入合成推理与定向领域数据，上下文为 32k，随后扩展至 131k 上下文，并强调「不要 logit，只要 token」。SFT 环节则涵盖指令遵循、推理、代码、数学和多步任务，数据为合成轨迹与人工数据混合，并明确不做多轮 epoch 重复训练。