实测 Qwen3.8 专家分布：一半专家几乎闲置，可裁剪 50%
EyalToledano · x · 2026-08-27
作者使用约 70 万 token 的 Claude 代码追踪数据，对 Qwen3.8-Flash-Next 的全部 24,576 个专家进行了评分。在 4-bit 量化下通过 M4 Max 运行并记录路由权重发现：在中位数层，512 个专家中有 64 个承载了一半的路由权重，256 个承载了 91%。这意味着模型中一半的专家是“乘客”，可能可以裁剪掉一半的专家同时保持 90% 以上的准确率。
所属事件:实测 Qwen3.8 专家分布 半数专家几乎闲置(2 条相关)→
「研究」频道最新
- Hannah Fry 专栏：OpenAI 解题潮让数学界陷入存在危机 — AnnaCiaunica · 2026-10-15
- 观察：AI 评测正从离线走向在线 — vboykis · 2026-10-15
- StartLux-Decision 发布:RL 训练的校准决策模型,27B 得分 72.8 — startlux-models · 2026-10-15
- 9 个月内三分之一的数学预印本由 AI 参与写作 — IgorCarron · 2026-10-15
- AAAI/ACM AIES 论文:访谈 15 名从业者揭示负责任 AI 实践何以难持续 — ChinasaTOkolo · 2026-10-15
- Schmidt Sciences 投 1000 万美元资助 19 个 AI 人文研究团队 — OdedRechavi · 2026-10-15