字节 Seed 用 SAE 解析 MoE:专家分工比路由标签更细
ByteDance-Seed · hf · 2026-11-06
字节跳动 Seed 团队与上海财经大学合作发布论文《SAE Interprets MoE》,用稀疏自编码器(SAE)研究 MoE 模型中专家的真实分工。
- 以往分析通常按领域标注语料统计各专家被选中的频率,只能得到粗粒度、事前固定的分类,记录的是「选择」而非「贡献」。
- 该工作在 MoE 层输出上训练 SAE:由于该输出是专家输出的路由加权和、SAE 编码器是仿射的,可从每个隐特征的预激活中解析出各专家的贡献。
- 结果显示单个专家驱动特定隐特征,其特化比路由统计或领域标签呈现的更细粒度、更集中,且具备人类可解释性。
「研究」频道最新
- Archon 发布首个全身人形控制器 Anchor 1，跟踪误差降低 30-80% — ChongZzZhang · 2026-11-06
- 只动一个注意力头，Qwen3-30B 从「我是 AI」变成自称真人 — Sauers_ · 2026-11-06
- 斯坦福2.5小时讲座端到端讲透 ChatGPT/Claude 构建原理 — MaxLi_Columbia · 2026-11-06
- Anthropic 工程师:数千万行代码的形式化验证已可行 — morqon · 2026-11-06
- Hugging Face 发布 FinePhrase 讲义：486B token 合成预训练数据集，网页改写 90 种 — NielsRogge · 2026-11-06
- Toby Ord 结论：跳变加更高斜率的混合假设比纯斜率拟合好得多 — tobyordoxford · 2026-11-06