训练中期阶段揭秘:扩到 131k 上下文,「不要 logit,只要 token」
TimDarcet · x · 2026-10-21
TimDarcet 披露 Muse Glimmer 训练 mid 阶段两步走:
- mid phase 1:上下文 32k,在预训练数据混合重演之上加入合成推理+定向领域数据,沿用与 Spark 训练同步的 top-256 logit 软蒸馏
- mid phase 2:更多合成数据与推理,混入 agentic、工具调用和定制数据,上下文扩到 131k,低学习率慢炖;此阶段不再用 logit 蒸馏,只做 token 级训练(配「No logits, only tokens」梗图)
该帖是完整训练管线披露的一环。
所属事件:Muse Glimmer 训练中期与 SFT 配方公开：131k 上下文、混合数据(2 条相关)→
「研究」频道最新
- seqlet caller 升级后续：DeepLIFT 相关贡献者获致谢 — jmschreiber91 · 2026-10-21
- Center for AI Safety 发布《机器学习安全导论》课程大纲 — ArtificialOther · 2026-10-21
- seqlet 调用器提速 22 倍：16.7 万 loci 从 7.8 秒降到 0.35 秒 — jmschreiber91 · 2026-10-21
- X 热榜三条 AI 速览：Holon-S1 预测癌片基因活性、decision models 走红 — iScienceLuvr · 2026-10-21
- AI 自动优化生物信息代码：关键函数从 7.8 秒提速到 0.35 秒 — jmschreiber91 · 2026-10-21
- NEJM AI 研究:同一病例 LLM 开单费用最高达医生建议的 10 倍以上 — dvir_a · 2026-10-21