免训练 MoE 剪枝研究：门控缩放是最大隐性变量
Ezza Ali · hf · 2026-11-04
论文系统研究免训练 MoE 专家剪枝中被忽视的设计选择：删掉哪些专家之外，路由仍选中被删专家时该层如何计算。
- 在 OLMoE、DeepSeek-V2-Lite、Moonlight 上固定剪枝掩码，横向比较三类替换算子，用配对多重校正检验
- 最大效应来自一个通常隐式的选择：幸存专家的门控缩放（gate scale）——在未经 top-k 重归一化训练的路由上，常见的幸存者门控重归一化会损失 0.8–8.5 个百分点
- 提出的 tilted novice 算子整体改善结果，但不统治所有设置；结论还取决于校准数据域
「研究」频道最新
- Anthropic 称将「即将」达到 RSP 加速 AI 研发阈值，并发布可证明推理研究 — tobyordoxford · 2026-11-04
- Google 扫描 1033 件真实家居品,打包成 345MB GLB 免费开放 — victormustar · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 实测推翻常见建议：INT8 几乎无害，采样器才是关键 — YakovSava · 2026-11-04
- Karpathy 带火 HN 开源数据集：千万级帖子可当知识库直接用 — huangyun_122 · 2026-11-04
- PixelCraft 多智能体框架登场：专治多模态模型读图表翻车 — burkov · 2026-11-04