字节跳动开源 Qwen3-30B 稀疏自编码器，揭示 MoE 专家有细粒度可解释分工

_akhaliq · x · 2026-11-05

字节跳动 Seed 团队在 Hugging Face 发布 Qwen3-30B-A3B 的 MoE 输出层稀疏自编码器（ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE），配套论文显示 MoE 的专家具有人类可理解的细粒度专业化分工。

技术细节：TopK SAE（k=100，2^20 个 latents），分别在模型第 4、30、46 层的 MoE block 输出上训练，每个 SAE 约 17.2 GB（float32），采用 Apache-2.0 协议。模型卡给出了完整的加载与编解码代码，可直接对原始 MoE 输出（残差相加之前）做编码分析。这是少见的大规模开源 MoE 可解释性研究资源。