关于大模型蒸馏与稀疏架构的讨论
TheZachMueller · x · 2026-07-17
这条转发里讨论的是**蒸馏应该怎么做**：作者强调自己说的蒸馏，指的是同一 tokenizer / 同一模型家族内部的“大模型到小模型”蒸馏，而不是从某个实验室 API 的输出 token 去蒸馏。 被引内容进一步展开了对架构和训练策略的判断： - 提到某些路线可以做出类似 DSV3 形态，但需要更大的参数规模、滑动窗口、rollout 训练等配合 - 建议使用 Muon、MuP、GB300 之类的训练组合 - 认为 Meta 若从一开始就这样做 Llama4 及后续版本会更好 - 作者最后还想看到更大的 3T+ 模型、更强的 expert sparsity、KV cache 压缩、base model 发布、frontier RL 打磨，以及一篇蒸馏论文