可解释性证据阶梯：从相关性到完整机制重建的五级标准
burny_tech · x · 2026-10-25
作者提出机械可解释性（mechanistic interpretability）证据强度的阶梯框架：
- 相关性：某特征/神经元在「猫」输入上激活
- Steering：沿该方向加入扰动会推动输出趋向「猫」
- 消融：移除它会破坏猫相关行为
- 反事实概念替换：在「猫」位置 patch 入「狗」激活，下游行为连贯地翻转
- 仿真：能重建机制到足以预测或复现模型行为
作者还指出进阶注意事项：干预某层机制可能间接干预了另一层才是真正关心的对象，需要做更严格的机制定位；要对混淆因子空间做控制分析；干预后机制可能「自我修复」需纳入考量；还要排除干预本身创造出该机制的情况。
「研究」频道最新
- Sander Dieleman 长文详解 Flow Maps:预测扩散积分,大幅加速采样 — sedielem · 2026-10-25
- 评论：RL 科学闭环太像教科书，缺了牛顿式冒险精神 — generativist · 2026-10-25
- 斯坦福 Finn 团队提出生成式价值分类器 GVC，用动作似然反推 Q 函数 — chelseabfinn · 2026-10-25
- 经济学家复盘：预测 AI 仅增 1pp 被嘲，如今瓶颈论被证实 — Afinetheorem · 2026-10-25
- 多智能体奖励设计细节之争：延迟惩罚与协作奖励才是关键 — rosstaylor90 · 2026-10-25
- 清华 KT-FT 让 CPU 参与 MoE 微调计算，吞吐量最高提升 21.2 倍 — jiqizhixin · 2026-10-25