免训练改路由:Qwen 35B 推理 token 减少 8.5%,延迟降 10.9%
Specific-Tax-6700 · reddit · 2026-09-04
作者发布新论文,提出一种纯推理时的 MoE 路由优化:不训练不微调,仅在 transformer 后期层扩大专家选择预算(Qwen3.6-35B-A3B 变为 A4B+),并对额外专家施加线性衰减。- 在 MMLU-Pro 全量 714 题上,平均推理 token 减少 8.5%,延迟下降 10.9%(p=6.5×10⁻⁶)- 准确率不变(84.5% vs 84.0%,统计不可区分)- 现象被称为「Succinct Convergence」:给决策关键的末层更多专家容量后,模型用更短的推理轨迹得到同样正确的答案- 论文与 beta 代码、完整 benchmark JSON 结果已在 Zenodo 和 GitHub 公开,作者希望未来在更大模型上复现
「研究」频道最新
- 物理学家 Sabine：别把人类可理解性当作科学的前提，AI 才是出路 — coherence · 2026-10-21
- 有人把真实海洋幼虫的 2675 神经元接线图搬进 3D 模拟，自己游起来了 — eptwts · 2026-10-21
- 斯坦福 T2-z：机器人戳一下桌面，任务成功率从 34% 提到 73% — stanfordnlp · 2026-10-21
- 李飞飞团队发布 FACT：力觉感知的机器人灵巧操作基础模型 — stanfordnlp · 2026-10-21
- 研究者预告新论文：大模型延迟可满足机器人实时任务 — ManlingLi_ · 2026-10-21
- NVIDIA 开源机器人数据引擎 Flora,成本仅 GPT-6 Astra 的 1/125 — DrJimFan · 2026-10-21