Agentic interpretability 研究脉络整理
hhsun1 · x · 2026-07-16
这条转发整理了 **agentic interpretability** 方向的代表性工作脉络：作者先提到最早想到的相关工作是 **MAIA**，随后列出数篇较新的研究/项目，包括 Goodfire AI、Liu 等、Elenal3ai 等、Arnauya 与 javifer_96、tal_haklay 等人的工作。 帖中还指出，这些工作在研究范围上差异很大，例如有的偏 **行为解释**，有的偏 **机制解释**；有的在 **feature level**，有的在 **circuit level**；有的侧重 **发现**，有的侧重 **验证**。作者认为这一方向也需要像其他 agent 应用一样，建立 **benchmark 和系统化评测**，否则很难持续追踪进展；同时要警惕 **数据泄漏/记忆**，例如模型只是因为训练中记住了常见解释事实，而不是真的在推理。