可解释性研究者激辩：模型可达 99% 可解释的说法靠不靠谱
livgorton · x · 2026-10-16
一场围绕可解释性研究现状的技术讨论：
- 一方主张模型可以从约 0% 可解释提升到约 99%，且无需改变模型规模，认为此前大家对问题成因的解释是错的，几乎所有人都理解错了。
- 反方（本帖作者）质疑这一说法：叠加（superposition）和下游多义性（polysemanticity）并非参数量的纯函数——例如 InceptionV1 因架构上被迫通过很窄的瓶颈，其叠加程度自然高于同参数量的其他架构。他对 99% 的说法也持保留态度，认为需要深挖支撑它的实验。
- 讨论还涉及 features 与 mechanisms 两派研究路线的关系：作者认为过去的工作并非全是错误，神经元、数据流和映射 motif 只是自然的起点，InceptionV1 早期有效后来失效的原因与此前设想不同。
所属事件:Anthropic 研究员逐条反驳「神经元被低估」论文(14 条相关)→
「研究」频道最新
- 新研究暗示 LLM 会自发形成概念专用神经元 — burny_tech · 2026-10-16
- Quanquan Gu 质疑神经网络可解释性研究缺数学严谨性 — burny_tech · 2026-10-16
- 只喂「没毁灭世界」的对局微调 Qwen 7B，它照样学会按核按钮 — KnowledgeOk7634 · 2026-10-16
- UC Berkeley 论文借「迈达斯神话」反思机器人伦理与人形模仿 — begusgasper · 2026-10-16
- 31 条科技曲线可视化：Kurzweil 千美元买人脑算力预言差了 400 倍 — cpaik · 2026-10-16
- DeepMind 论文:一价拍卖分配 AI Agent 市场提示,效率可达最优的 1-1/e² — dair_ai · 2026-10-16