SFT 阶段配方公开:指令/推理/代码/数学混训,不做多 epoch
TimDarcet · x · 2026-10-21
TimDarcet 介绍 Muse Glimmer 的 SFT 环节:内容涵盖指令遵循、推理、代码、数学和多步任务,数据来源为合成轨迹与人工数据混合;并明确不做多轮 epoch 重复训练。文中以自嘲口吻带过,属于完整训练管线披露(预蒸馏→中期→SFT→on-policy 蒸馏→RL)中的一环。
所属事件:Muse Glimmer 训练中期与 SFT 配方公开：131k 上下文、混合数据(2 条相关)→
「研究」频道最新
- seqlet caller 升级后续：DeepLIFT 相关贡献者获致谢 — jmschreiber91 · 2026-10-21
- Center for AI Safety 发布《机器学习安全导论》课程大纲 — ArtificialOther · 2026-10-21
- seqlet 调用器提速 22 倍：16.7 万 loci 从 7.8 秒降到 0.35 秒 — jmschreiber91 · 2026-10-21
- X 热榜三条 AI 速览：Holon-S1 预测癌片基因活性、decision models 走红 — iScienceLuvr · 2026-10-21
- AI 自动优化生物信息代码：关键函数从 7.8 秒提速到 0.35 秒 — jmschreiber91 · 2026-10-21
- NEJM AI 研究:同一病例 LLM 开单费用最高达医生建议的 10 倍以上 — dvir_a · 2026-10-21