Hewitt:两个向量各自有效,相加却 steer 出无关任务
johnhewtt · x · 2026-11-05
John Hewitt 博文《Do Not Rely on the Linear Representation Hypothesis》(Columbia, 2026.11)的完整版。核心实验:1) 单一 steering 向量在四种不同范数下分别诱导四种任务,推翻「缩放=强度选择」;2) v1 steer 任务1、v2 steer 任务2,但 v1+v2 却 steer 出完全无关的任务3,推翻「组合=加法」;以上仅用梯度下降搜索即可复现(附代码)。结论:常见 LLM 对激活方向的处理高度非线性,可解释性与安全工作不应把线性表示假说当作直觉基石——线性结构存在且有趣,但「可线性读出」不可依赖。
所属事件:哥大研究质疑线性表示假说：LLM 激活空间本质非线性(3 条相关)→
「研究」频道最新
- 小模型隐藏状态跨提示复用，可部分迁移事实答案偏移 — Jinkun Chen · 2026-11-05
- 研究：细粒度过程奖励在长程视频剪辑任务提升 45.4%，短任务反致奖励黑客 — philo-labs · 2026-11-05
- Paperclip Datasets 发布：描述需求即可从数百万论文自建数据集 — james_y_zou · 2026-11-05
- TorchTPU 兼容性实测:4917 个社区模型中 4821 个可正常运行 — jiqizhixin · 2026-11-05
- antirez:用上一层残差预取专家,K3.1 流式跑进 128GB 小机器 — antirez · 2026-11-05
- Agent 已能写出 B200 高性能内核，Apache TVM 论证编译器为何仍然必要 — JiaZhihao · 2026-11-05