压平最弱激活：模型损失几乎不变，背诵记忆文本能力骤降

ParshinShojaee · x · 2026-10-21

Kaley Brauer 的可解释性实验：将每个神经元最弱的激活逐一压平后，模型整体 loss 起初仅上升 0.1%–3.4%（消融 50%–90% 弱激活时），但「背诵记忆文本」能力大幅下滑——消融到 99% 时在 Qwen3-32B、Qwen3-8B-Base、Llama-3.1-8B 上性能跌至约 10%–20%，而 MMLU 考题成绩仍保持约 94%，PopQA 事实回忆降到约 65%。这印证了 Neel Nanda 的猜测：弱激活尾部主要承载记忆化内容，弱激活对应更不可泛化的知识。

Neel Nanda 在引用评论中给出克制判断：这类基于神经元的探索性可解释性（如神经元归因图）在「模型为什么做了某件可疑的事」等实用问题上有合理证据，优于 SAE/transcoder 等标准方案；但他不同意部分人「这是迈向彻底逆向工程、解决可解释性的重大进展」的宏大推断。