Muse Spark 训练细节曝光：前 95% 预训练全程用 logit 蒸馏
andrew_n_carr · x · 2026-10-20
Andrew Carr 分享了 Muse Spark 技术报告中关于蒸馏的训练细节：base 模型通过从 Muse Spark 做 logit 蒸馏训练，采用共蒸馏方式，在其预训练期间记录 top-256 logits。
与以往混合软/硬目标的做法不同，前 95% 的预训练只使用 KL 散度损失，最后 5% 切换为纯交叉熵，以解决 top-k logit 蒸馏固有的截断偏差。预训练数据涵盖网页、代码、数学、多语言文本与图像，知识截止日期为 2026-01-04。
「研究」频道最新
- 人类首次让眼中细胞「返老还童」，青光眼视神经再生迎突破 — Dr_Singularity · 2026-10-20
- 科学家将80岁细胞逆转至分子年龄20岁以下 — Dr_Singularity · 2026-10-20
- 往返验证修复法检验 LLM 形式化忠实度,偏差降 1.4-2.5 倍 — StanfordAILab · 2026-10-20
- Minos 开源:为零延迟科学实验构建「预测量」agent 世界 — rbhar90 · 2026-10-20
- 两个 AI 聊出的呓语走红：Claude 的「朋友」如此说话 — maxsloef · 2026-10-20
- 用 RL 把 Qwen 训成「Claude 知音」：按 Claude 的偏好优化对话 — maxsloef · 2026-10-20