TMS 论文被低估：多义性藏于弱激活的洞见仍被忽视
livgorton · x · 2026-10-17
作者认为 Toy Models of Superposition（TMS）这篇论文的很多内容仍被低估——尽管它是可解释性领域的重磅论文，核心思想广为人知，但许多预测和讨论在今天才逐步被验证。
她特别指出论文中一个与 LM 可解释性研究者实际发现高度吻合的观点：MLP 神经元在其最强激活上往往显得可解释，而多义性（polysemanticity）主要藏在较弱的激活里。原文附了论文链接。
「研究」频道最新
- OpenAI 研究员质疑 ECDSA 时间戳方案：对手可操纵的输入无法靠哈希消除 — csvoss · 2026-10-17
- 业内观点:SWA 才是前沿秘方,DeepSeek 与 Kimi 偏走独立自研路线 — burny_tech · 2026-10-17
- 新论文用竞争性神经元胞自动机演化出类生命自组织行为 — burny_tech · 2026-10-17
- Vals AI 将递归自我改进预测提前至 2027 年 7 月 — 141_1337 · 2026-10-17
- Transformers 支持激活检查点卸载到 CPU，GPU 显存紧张者福音 — StasBekman · 2026-10-17
- S4VY 发布：任意 RGB 观测实现 4D 一致性物体分割 — realChrisChoy · 2026-10-17