Muse 系列蒸馏训练配方：全程 logit 蒸馏细节曝光

Andrew Carr 分享 Muse Spark 技术报告中的蒸馏训练细节：base 模型通过从 Muse Spark 做 logit 蒸馏训练，采用共蒸馏方式。TimDarcet 进一步披露 Muse Glimmer 预训练阶段的配方：上下文长度 16k，约 525 TPP，前 95% 全程使用 Spark 模型的 top-256 logits 做纯蒸馏，最后 5% 才切换为真实 token 训练。

2026-10-20 ~ 2026-10-21 · 2 条相关

事件全程(共 2 集)→

• 第 1 集:Muse 系列蒸馏训练配方：全程 logit 蒸馏细节曝光(2026-10-20,2 条)
• 第 2 集:Muse Glimmer 训练中期与 SFT 配方公开：131k 上下文、混合数据(2026-10-21,2 条)

• Muse Spark 训练细节曝光：前 95% 预训练全程用 logit 蒸馏 — andrew_n_carr · 2026-10-20
• 预训练配方曝光:全程 logit 蒸馏 Spark,最后 5% 切换真值 token — TimDarcet · 2026-10-21