MLP 神经元可解释性六年研究脉络:一帖梳理关键论文
aryaman2020 · x · 2026-10-16
aryaman2020 回顾支撑「MLP 神经元是可解释基」这一概念的大量学术工作,指出这条路线历史上偏非主流、理应获得应有关注:2020 MLP 作为 KV 记忆(megamor2 等)、2021 knowledge neurons(Damai Dai 等)、2023 rosetta neurons、2024 视觉模型神经元梯度效应(YGandelsman 等)、2024 LM 神经元 autointerp(damichoi95/vvhuang 等)、2025 TransluceAI 的 LM 稀疏神经元基研究、2026 steering 相关后续。
「研究」频道最新
- ORL 让扩散语言模型重写速度-智能 Pareto 前沿,吞吐量提升约 6.9 倍 — james_y_zou · 2026-10-16
- CoT 理论论文被赞“解释了 Transformer 为何胜出” — willcb · 2026-10-16
- 研究者主张电路视角可解释深度学习大部分“神秘”现象 — willcb · 2026-10-16
- 陶哲轩警告 AGI 竞赛变味:OpenAI 论文轰炸冲垮初级研究项目 — Hesamation · 2026-10-16
- 斯坦福新开「深度学习炼金术」课程，小模型实验+预测测验教实证直觉 — stanfordnlp · 2026-10-16
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16