发布版仅用训练时三分之一专家:剪枝后再补 1T token 蒸馏恢复性能
nrehiew_ · x · 2026-11-21
nrehiew 补充该循环模型的训练细节:发布出来的模型只有训练时的约 1/3——训练从稀疏度 48(384 个专家选 8 个)开始,在 midtraining 某节点剪掉三分之二专家、保留每层使用最多的 128 个,以压缩参数量、便于本地硬件运行。
剪枝后模型用从更大内部 Inkling 模型蒸馏的 1T token 继续训练(对这种规模的模型来说是相当大的量),让剩余专家接管被删专家的工作,恢复到剪枝前性能;之后经历与 Inkling 2 Small 类似数据配比的 SFT,以及总计 2.2T token、2000 步的 RL。作者还暗示「更大的内部 Inkling」存在。
「模型」频道最新
- 循环层数越多推理越省:3 次循环后收益递减,推理 token 反而更少 — nrehiew_ · 2026-11-21
- 循环 Transformer 实测:推理时间窗从 16 秒升至 37 秒,多跳任务受益最大 — nrehiew_ · 2026-11-21
- 团队开源可变循环模型 TML-d24-varloop-research,验证循环层数对 CoT 可监控性的影响 — nrehiew_ · 2026-11-21
- Artificial Analysis 公布 Inkling 2 Mini 全量评测明细 — ArtificialAnlys · 2026-11-21
- Inkling 2 Mini 每任务比 Qwen3.8 27B 便宜约 6 倍、快约 4 倍 — ArtificialAnlys · 2026-11-21
- Inkling 2 Mini 以约 1/5 激活参数追平 Qwen3.8 27B 与 Nanbeige4.3-33B — ArtificialAnlys · 2026-11-21