The Myth of Expert Specialization in MoEs: Why Routing Reflects Geometry, Not Necessarily Domain Expertise
Xi Wang, Soufiane Hayou, Eric Nalisnick
cs.AI
2026-04-11
因为路由是线性投影，隐状态接近的 token 才会共用专家。五个模型上，同题跨模型重叠约60%，与换一道题持平。
MoE 把每层稠密前馈换成一组专家，每个 token 只激活得分最高的 k 个。参数量上去，单 token 计算量仍小。技术报告里，代码、数学和网页点亮的专家不同，常被读成领域专长。
路由器是矩阵 P，logits 由 P 乘隐状态 h 得到。h 近则 logits 近，h 远时 logits 可近可远。分工对应隐状态在表征空间里的位置，路由只是把这个位置投到专家上。这篇给出上界，在五个已发布 MoE 上验证。
命题 1 上界化了两个 token 的 logits 距离。隐状态做奇异值分解后，取能量最大的前 r 个方向构成主子空间。距离不超过子空间上的路由器增益乘以子空间内的 h 距离，再加残差。方差集中在前几个方向时，残差可忽略，h 在主方向上接近就必然共用专家。h 远则无此保证。五个模型的中间层、各 16 条 OpenWebText 上，点云是三角形：近则 logits 必近，远则不定。离群点来自首 token 的 attention sink，该位置激活幅度异常大。
命题 2 看负载均衡损失，它把专家使用频率推向均匀。共享方向 μ 被近最优路由器映射成常数，softmax 与 top-k 对平移不变，该方向因此被忽略。小 batch 里这个方向每步都变，路由器学不到稳定的区分信息。Qiu 等人在过小 micro-batch 上看到不同主题塌成同一套专家，这里用该机制解释，没有重训。
gpt-oss-20b 用 AdamW 加辅助损失，约第 11 层后隐状态越来越像，路由器输出的相似度不再跟随，第一奇异方向的能量被压低。Trinity-Mini-Base 用 Muon、无辅助损失，隐状态相关不随层上升，也看不到压制。Moonlight 16B 同样无辅助损失，没有这套压制。
apple 在日常句和代码句里，gpt-oss-20b 第一层专家重叠高，深层变低。OpenMoE 报告过上下文无关的专长，更像没训够。OpenWebText 与 Nemotron-CC-Math 各 100 条上，五个模型的中间层都是序列越像、专家频率越像；跨数据集的隐状态相似度更低，不像的序列仍可共用专家。
30 道 HMMT 2025 年 2 月题上，比较涉及 60 个推理模型的解答，路由测在 Qwen3-30B-A3B、ERNIE-4.5-21B-A3B、gpt-oss-20b，各 4 个种子。Top-p=0.8 的 Jaccard 看的是覆盖 80% token 的高频专家重合多少。同模型同题不同种子最高。同模型换题，与不同模型做同一题，都约 60%，各层一致，换 p 后趋势不变。
Ling-mini 的三组配对在预填充阶段专家频率几乎相同：同文风讲不同概念，同概念的白话对数学语言，AIME 的中文对法文。预填充是生成前把整段 prompt 过完。生成一开始，有的配对仍相似，有的陡降，prompt 段预测不了走向。
gpt-oss-20b 的深层预填充会让无关输入共用专家。411 token 的 HLE 题与 2500 token 的温布尔登历史，较深层几乎点亮同一批专家。32 个专家只留最常用的 12 个，删掉最后两层后，代码、通用文本、经济、HLE 题目四类纯 prompt 的负对数似然涨幅不到 10%。接上 on-policy 或 off-policy 生成，被删专家又影响条件似然。频率曲线随生成变长分开，深层更早分开。非推理的 ERNIE-4.5-21B-A3B-PT 没有同等塌缩。去掉对话模板会减轻塌缩。输入复制 1 到 12 倍且不含模板，会把跨领域用法推向同领域基线。
打乱或倒序 16 条 OpenWebText 后，ERNIE-4.5-21B、gpt-oss-20b、Qwen3-30B 的最大 softmax 概率都低于原序列。
| 对照 | 指标 | 结果 |
| 同题跨模型 vs 换题 | [email protected] | 都约 60%，低于同题同模型 |
| 删最后 2 层，留 12/32 | 纯 prompt NLL | 涨幅不到 10% |
| 接上 rollout | 条件 NLL | 明显变差，无单一百分比 |
| 打乱或倒序 vs 原序列 | 最大 softmax | 三个模型都更低 |
语料尺度上，这套几何够用。领域之间隐状态分布不同，专家频率就不同，DeepSeek-V3 和 OLMoE 的领域图与此相容。路由若把所有输入送进同一批专家，多出的参数是冗余，这类图仍能检查这件事。
单题和单条轨迹不够用。只截 prompt，会把深层预填充的塌缩读成共享专长，推理模型开场的模板 token 让误判更重。隐状态几何在稠密模型里仍是开放问题。MoE 的专家分工至少同样难，还多一层多对一：不同的 h 可以进相似专家，生成开始后相似的 h 又会分开。没有额外训练目标，logits 不会自己对齐人类的类别。
命题 2 用了小 logits 和可线性化的 softmax，均衡损失是简化版。它在真实总损失里只占一项，共享方向只会部分被压掉。开源模型里没有见到对数据主方向完全失明的路由器。论文写明性能差的模型通常不会发布，样本偏向能用的路由器。小 batch 下的专长崩溃来自 Qiu 等人的实验，不是这篇的训练曲线。分布外测试只有打乱和倒序，没有检测指标。
约 60% 只来自三个推理 MoE、30 道题和 Top-p=0.8。图按三个 MoE 分面，正文又写到 60 个模型。专家编号跨架构不通用，正文没写清 Jaccard 算在同一个路由器上，还是跨模型比较编号。
摘要写隐状态相似对专家用法相似既充分又必要。图 1 只撑住充分的一半，且要求残差可忽略。h 远的时候，logits 经常仍然接近。后文写了这个多对一，摘要比实验更满。