Kenneth Stanley 质疑机制可解释性：为何只读心不问如何改进
kenneth0stanley · x · 2026-10-19
open-ended search 研究者 Kenneth Stanley 发长文，呼应 Nick Cammarata 对本领域假设的质疑，向机制可解释性（mech interp）研究提出根本性追问。
核心论点
- 可解释性研究总是默认「系统已经工作」，只关心「读懂模型在想什么」（mind reading）和「控制模型」（mind control），却对「改进模型」（mind improvement）态度暧昧。
- 如果神经网络在 OOD 泛化、持续学习、创造力等 AI 核心挑战上表现不佳，其内部机制恰恰应该是被解释并最终被修正的对象；真正理解系统内部，理应带来如何让它更好的洞见。
FER 证据
- 他引用自己 2025 年关于 Fractured Entangled Representations（FER，断裂纠缠表示）的论文：在输出 Picbreeder 图像的小网络中，「开放式搜索得到的良好表示」与「常规梯度下降得到的糟糕表示」之间存在显著鸿沟。
- 他借用 Cammarata 博客里一张「干净特征检测器」的示意图做批判性再解读：van front（车头）检测器接入 pointy V 检测器，后者又被 coyote face（狼脸）检测器读取——一旦梯度更新改动了车头检测器，下游检测狼脸的能力也会被连带改变。车与狼在这个电路里是纠缠的，这还能叫「干净」吗？这种纠缠在大网络里有多普遍？
他强调 FER 假说并未被这些轶事例证确证，但既然已有显微镜，研究者应追问表示结构的更多问题，而不只是「读懂模型的心思」。
「漫话AGI」频道最新
- AI 数学家之争:传统数学文化被指无力攻克 P/NP 等大问题 — _onionesque · 2026-10-19
- Epic CEO 谈 AI 游戏黄金时代，jsuarez 痛批「底层」鼓吹取代论 — yacineMTB · 2026-10-19
- 创业者列出 AI 时代三大软件赚钱方向:RL 工厂、Agent 维护居首 — MarcJSchmidt · 2026-10-19
- 离开行业一年再回归：一位开发者直面 vibe coding 的意义危机 — misraturp · 2026-10-19
- Lex Fridman 谈痴迷之美，李开复谈家庭与事业按比例调配 — vista8 · 2026-10-19
- 开发者警告:网站封禁 Agent 与 prompt injection 将决定 Agent 生态生死 — HankYeomans · 2026-10-19