新研究草稿：稀疏 MoE 残差激活在可解释性上或优于稠密激活
menhguin · x · 2026-10-21
研究者 @amplifiedamp 分享论文草稿《Towards Self-Programmable Interpretable LLMs》，讨论稀疏 MoE 的可解释性方向，kevinnbass 表示对更多稀疏 MoE 可解释性工作非常感兴趣。
草稿要点：
- 作者用 trinity large truebase 和 Claude 3 Opus 做标注实验，主观可解释性上稀疏 MoE 残差激活优于同规模稠密激活，即使 FVU 更低；且 Opus 3 的标注质量优于「Opus 5.5」
- 核心假设：scaling law（尤其专家数量）是关键杠杆，细粒度专家与更低激活比例可能带来更可分离、更便宜更精准的模型编辑
- 研究方向包括：专家粒度与激活比例的可分离性跨规模验证；均匀专家使用是否减少混合功能瓶颈、提升 SAE/转码器等方法的回收效果；始终激活的共享专家可能耦合需要分开编辑的功能
「研究」频道最新
- 叠加假设遭重估：玩具模型结论或难迁移到真实网络 — ChrisGPotts · 2026-10-21
- 决策模型主诊+LLM 复核:SREGym 实验把故障诊断通过率提到 89.5% — tianyin_xu · 2026-10-21
- 伯克利研究者提出 Advantage Guidance：用监督损失做高性能机器人 RL — berkeley_ai · 2026-10-21
- Discover AI 开源上线：51 个交互实验拆解 AI 原理 — Zipidyzip · 2026-10-21
- 研究者类比:刺激单个神经元可改变行为,LLM 单神经元定向也成立 — HistedLab · 2026-10-21
- 开发者用 3800 行代码无引擎重建瑞士真实地形,精度达 0.5 米 — techartist_ · 2026-10-21