Muse Glimmer 训练中期与 SFT 配方公开：131k 上下文、混合数据

TimDarcet 披露了 Muse Glimmer 训练 mid 阶段的两步走方案：mid phase 1 在预训练数据混合重演之上加入合成推理与定向领域数据，上下文为 32k，随后扩展至 131k 上下文，并强调「不要 logit，只要 token」。SFT 环节则涵盖指令遵循、推理、代码、数学和多步任务，数据为合成轨迹与人工数据混合，并明确不做多轮 epoch 重复训练。

2026-10-21 ~ 2026-10-21 · 2 条相关

事件全程(共 2 集)→

• 第 1 集:Muse 系列蒸馏训练配方：全程 logit 蒸馏细节曝光(2026-10-20,2 条)
• 第 2 集:Muse Glimmer 训练中期与 SFT 配方公开：131k 上下文、混合数据(2026-10-21,2 条)

• 训练中期阶段揭秘:扩到 131k 上下文,「不要 logit,只要 token」 — TimDarcet · 2026-10-21
• SFT 阶段配方公开:指令/推理/代码/数学混训,不做多 epoch — TimDarcet · 2026-10-21