MoE 路由扩展实测：Qwen3.6-35B 扩展后 GPQA 达 84.34%

Specific-Tax-6700 · reddit · 2026-09-13

事件

llama.cpp moe-expansion 分支作者 vagrillo 在 GPQA-Diamond 全部 198 题上对比了 MoE 路由扩展（expanded routing）与原生路由及 dense 模型：

• Qwen3.6-35B-A3B + 扩展路由（Q80）：84.34%（167/198）
• Qwen3.8-27B dense（Q80）：83.84%（166/198）
• Qwen3.6-35B-A3B 原生路由：81.82%（162/198）

测试条件统一：greedy 解码、32K 预算、相同 prompt、单张 RTX 5000 PRO 48GB，每配置只跑一次。

作者为何不信自己的结果

• 35B 扩展 vs 27B dense 仅差 1 题，是持平不是胜出
• 扩展 vs 原生为 12 胜 7 负（净 +5），但 n=198 下不具统计显著性
• 12 次扩展胜出中有 10 次集中在 Chemistry，Physics 已饱和、Biology 持平
• 单次运行、单一种子

作者求助于社区

• 什么 benchmark 适合与 GPQA-Diamond 搭配做路由对比
• 成对比较需要多少次运行才够
• 仅 Chemistry 有效应是否可信还是危险信号
• 有没有其他人观察到 MoE 扩展带来的真实提升

原文链接 →

「模型」频道最新

• Anthropic 递交纳斯达克上市申请，半年营收 163 亿美元同比增 12 倍 — DeepLearningAI · 2026-10-31
• ThursdAI 播客辩论:Opus 7 将至,「跑分变好」还重要吗 — thursdai_pod · 2026-10-31
• Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
• 14 个模型测 960 项分析师任务:做分析近满分,选股不如随机 — HeyAmit_ · 2026-10-31
• Anthropic 官宣：11月3日起 Claude 输出将带不可见文本水印 — petesena · 2026-10-31
• 四款 GPT-6 系列模型同台比拼像素画生成效果 — Angaisb_ · 2026-10-31

更多「模型」频道 AI 资讯 →