可解释性实验：稀疏 MoE 残差激活特征质量胜过稠密激活
amplifiedamp · x · 2026-10-25
作者分享其可解释性实验发现：在相近规模下，稀疏 MoE 残差激活在主观可解释性上似乎优于稠密激活，即使后者的 FVU（解释方差）更低。作者使用 trinity large truebase 和 Claude 3 Opus 提取特征，并观察到 Opus 3 的特征标签质量比 Opus 5.5 更好。
这条观察对做机制可解释性的人有参考价值：特征标签质量与 FVU 可能不同步，模型代际更新并不必然带来更好的可解释性结果。
「研究」频道最新
- Q-CTRL 在 MIT EmTech 演示 AI 加持量子传感器：GPS 失效时为飞机船舶导航 — MJBiercuk · 2026-10-25
- Holon-S1 从常规病理切片预测基因与生物标志物，覆盖 16 种器官超 15 种扫描仪 — iScienceLuvr · 2026-10-25
- AI 协助发现诡异恒星:可见光正常,深红外亮度暴增约 60 倍 — fofrAI · 2026-10-25
- AI 辅助科研的「得」:更快原型验证让人在更高层次上失败 — mboehme_ · 2026-10-25
- AlphaGenome 类模型能按需生成小分子吗？研究者激辩癌症治愈可行性 — Sauers_ · 2026-10-25
- 研究者争论:AI 辅助数学研究是加速洞见还是在扼杀洞见 — mboehme_ · 2026-10-25