实测 Qwen3.8 专家分布：一半专家几乎闲置，可裁剪 50%
EyalToledano · x · 2026-08-27
作者使用约 70 万 token 的 Claude 代码追踪数据，对 Qwen3.8-Flash-Next 的全部 24,576 个专家进行了评分。在 4-bit 量化下通过 M4 Max 运行并记录路由权重发现：在中位数层，512 个专家中有 64 个承载了一半的路由权重，256 个承载了 91%。这意味着模型中一半的专家是“乘客”，可能可以裁剪掉一半的专家同时保持 90% 以上的准确率。
所属事件:实测 Qwen3.8 专家分布 半数专家几乎闲置(2 条相关)→
「研究」频道最新
- TIDES 数据集发布：12 团队全学期双语协作记录 — josephseering · 2026-08-27
- 京都大学 MemUse 研究：对话记忆自然集成比问答评测更准 — Kyoto-University · 2026-08-27
- GPT-5.6 自研新内核，TPU 优化提速近 10 倍 — HuaxiuYaoML · 2026-08-27
- RSI-Exam 基准发布：测 AI 递归自我改进能力 — HuaxiuYaoML · 2026-08-27
- Gordian 机器筛靶点 1327 个，药物发现加速数年 — juanbenet · 2026-08-27
- 多智能体训练的奖励机制与收敛性讨论 — jessi_cata · 2026-08-27