可解释性研究者:激活空间诠释是彻底非线性的,线性直觉靠不住
johnhewtt · x · 2026-11-05
作者讨论可解释性(interp)领域的常见思维误区:虽然模型确实会对某些高层概念建立简单(线性)表示,但更准确的直觉是模型对激活空间的诠释是彻底非线性的。
通过梯度下降搜索可以构造出这样的向量:用 v1 引导任务 1、v2 引导任务 2,但 (v1+v2) 却会引导出一个毫不相关的任务 3。这打破了 interp 思考中两个默认假设:
- 强度即缩放(intensity-as-scaling)
- 组合即叠加(composition-as-addition)
作者附上了详细论证的博客长文。
所属事件:哥大研究质疑线性表示假说：LLM 激活空间本质非线性(3 条相关)→
「研究」频道最新
- Paperclip Datasets 发布：描述需求即可从数百万论文自建数据集 — james_y_zou · 2026-11-05
- TorchTPU 兼容性实测:4917 个社区模型中 4821 个可正常运行 — jiqizhixin · 2026-11-05
- antirez:用上一层残差预取专家,K3.1 流式跑进 128GB 小机器 — antirez · 2026-11-05
- Agent 已能写出 B200 高性能内核，Apache TVM 论证编译器为何仍然必要 — JiaZhihao · 2026-11-05
- 新研究：机器人策略预训练越多越可靠，却可能损害后续微调上限 — siddkaramcheti · 2026-11-05
- OpenAI 称 AI 证明量子杨-米尔斯理论存在,诺奖得主 Gross 领衔委员会审核 — danintheory · 2026-11-05