预训练配方曝光:全程 logit 蒸馏 Spark,最后 5% 切换真值 token
TimDarcet · x · 2026-10-21
TimDarcet 披露 Muse Glimmer 预训练阶段的细节:
- 上下文 16k,约 525 TPP 全程使用 Spark 模型的 top-256 logits 做纯 logit 蒸馏,且与 Spark 自身训练同步(codistillation)
- 最后约 25 TPP(约 5%)切换为纯 next-token 预测,用真值 token 做目标(配损失曲线示意图)
- tokenizer 直接沿用 Llama 4 的,「能用、不折腾」
这是该 thread 完整训练管线(预蒸馏→mid 两阶段→SFT→on-policy 蒸馏→RL)的起点。
所属事件:Muse 系列蒸馏训练配方：全程 logit 蒸馏细节曝光(2 条相关)→
「研究」频道最新
- 研究者争论：总显存受限时未激活参数是死重，稠密架构智能密度更优 — samsja19 · 2026-10-21
- 曝小团队后训练 Qwen3 27B,GQA 转 MLA 省 8.4 倍 KV 缓存 — ChrisGPT · 2026-10-21
- EAGLE-4 投机解码实测：agentic 编码场景提速最高 5.21 倍 — zhyncs42 · 2026-10-21
- EAGLE-4 发布：投机解码冲上 961.6 tokens/s，代码与仓库开源 — zhyncs42 · 2026-10-21
- GATOR：从随手拍摄实现生成式 3D 物体重建 — kwangmoo_yi · 2026-10-21
- Claudini：AI 自动研究破解 LLM，越狱成功率远超现有方法 — maksym_andr · 2026-10-21