Goodfire 公开 Qwen3.6 全部 1000 万神经元的可搜索图谱,并开放数据

fatihdin4en · x · 2026-11-20

Goodfire(Curt Tigges、Nick Cammarata 等)发布研究《Neurons as an Interpretable Basis》并公开可交互的神经元图谱:他们对 Qwen3.6-35B-A3B 的约 1000 万个神经元做了可搜索 atlas,发现从「咕噜声」到「漫画式懊恼」再到「守卫移开视线」等 oddly specific 的概念各自对应可识别神经元。论文核心结论:MLP 神经元并非不可解释的黑箱,而是稀疏、可简洁描述、可预测的计算单元——例如对每次前向传播消融最弱的 92.2% MoE 神经元激活仍可得到稀疏模式。团队现已将神经元图谱数据完全公开,邀请所有人做研究。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →