发布版仅用训练时三分之一专家:剪枝后再补 1T token 蒸馏恢复性能

nrehiew_ · x · 2026-11-21

nrehiew 补充该循环模型的训练细节:发布出来的模型只有训练时的约 1/3——训练从稀疏度 48(384 个专家选 8 个)开始,在 midtraining 某节点剪掉三分之二专家、保留每层使用最多的 128 个,以压缩参数量、便于本地硬件运行。

剪枝后模型用从更大内部 Inkling 模型蒸馏的 1T token 继续训练(对这种规模的模型来说是相当大的量),让剩余专家接管被删专家的工作,恢复到剪枝前性能;之后经历与 Inkling 2 Small 类似数据配比的 SFT,以及总计 2.2T token、2000 步的 RL。作者还暗示「更大的内部 Inkling」存在。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →