神经元可解释性研究警告：训练配方不同结论或不可迁移
tszzl · x · 2026-10-26
核心提醒
@tomjiralerspong 给做神经元可解释性（neuron interp）的研究者发 PSA：模型的训练配方对解释性结论影响很大，不宜过度泛化。
关键点
- GPT-2 似乎是在带 dropout 的条件下训练的（现代 LLM 均不带），dropout 会增加冗余、可能加剧多义性（polysemanticity），但减少叠加（superposition）。
- 其他选择（SwiGLU vs GELU MLP、优化器、weight decay 大小等）可能同样影响神经元解释性。
- 现有大量可解释性工作基于较旧或玩具模型，未必能代表现代模型。
作者正在启动一个项目，系统刻画这些训练选择对神经元可解释性的影响，欢迎有兴趣者联系。
「研究」频道最新
- Glorius 组发布双向 NMR 基础模型 PRISM,登 Angew. Chem. — CatAstro_Piyush · 2026-10-26
- 角色 LoRA 实测：在 SFT 模型上训练反而 likeness 最佳 — 1or4s · 2026-10-26
- DeepSeek 1017 ckpt 登上 FrontierCS 2,成绩小幅提升 — scaling01 · 2026-10-26
- 新论文:KV cache 卸载 SSD 会把闪存寿命从年缩到月,按注意力类型分级可延寿 7.3 倍 — ThePrimeClock · 2026-10-26
- 百度 LeWAM 论文被指蹭名：提交17天后才加 LeWAM 标签 — randall_balestr · 2026-10-26
- 上交大等提出 RAVEL:训练评测 210 个 MLLM,为视觉编码器选择立强基线 — jiqizhixin · 2026-10-26