35B-A6B MoE 扩展技巧
pbaylies · x · 2026-07-14
这是一条关于 35B-A6B MoE 模型训练进展的报告。 核心结论是：在增加专家数量时，团队成功压制了性能下降；方法上不需要额外的 FFN 训练。帖子还给出一个具体经验：当 top-k 从 8 扩到 32 时，把第 9 到第 32 个专家的输出权重减半。作者表示完整细节已放在仓库里。
pbaylies · x · 2026-07-14
这是一条关于 35B-A6B MoE 模型训练进展的报告。 核心结论是：在增加专家数量时，团队成功压制了性能下降；方法上不需要额外的 FFN 训练。帖子还给出一个具体经验：当 top-k 从 8 扩到 32 时，把第 9 到第 32 个专家的输出权重减半。作者表示完整细节已放在仓库里。