ICA Lens 实战：Qwen 残差分解后，城市与法国特征清晰可读

furongh · x · 2026-10-21

这组推文展示机制可解释性中多种「Lens」工具的配合用法。背景是 @furongh 团队的新工作：重新审视经典的独立成分分析（ICA），发现早期 SAE 论文的评测代码存在 bug、严重低估了 ICA 的可解释性，修正后 ICA 与 SAE 相比极具竞争力，且成本低得多。

@feijianghan 随后给出具体示例：在 Qwen3.5-2B 上对 "The capital of France is" 的最后一个 token，直接用 Logit Lens / J-Lens / R-Lens 解码第 17 层 post-block 残差，得到的大多是无意义的下划线 token；而先用 ICA Lens 分解该激活，再对各成分做解码，前两个成分分别给出清晰的「城市相关」与「法国相关」读出。