Neel Nanda 质疑线性表征假设：同一转向向量四种强度可触发四种行为
NeelNanda5 · x · 2026-11-08
John Hewitt 发布新博客《Do Not Rely on the Linear Representation Hypothesis》,演示单个 LLM 激活空间方向作为转向向量(steering vector)时,施加四种不同范数强度竟能让模型分别表现出四种不同行为。
Neel Nanda 回应质疑:这一结果其实并不与 LRH(线性表征假设)矛盾——LRH 并非声称每个方向都是单语义的,最多只能说每个有意思的方向可分解为单语义方向的稀疏线性组合;若 a、b、c 是互不相关的单语义向量,a+b+c 很可能就不是单语义的。他还追问该向量是否通过优化搜索得到。
这场讨论对转向向量研究的方法论根基有实质参考价值:用单一方向叠加做行为操控时,需谨慎区分「方向本身单语义」与「多方向线性组合」。
「研究」频道最新
- LSA 论文：稀疏注意力索引占预填充 98% 耗时，10M 上下文提速 22.7 倍 — burny_tech · 2026-11-08
- 双指数外推：模型时间视野2027年底或达80个工作年，倍增周期约2个月 — scaling01 · 2026-11-08
- ACM 允许作者公开匿名评审意见,众包审稿库无制度障碍 — IanArawjo · 2026-11-08
- CHI 研究者倡议建公开评审库:用 LLM 审稿应被禁赛 — IanArawjo · 2026-11-08
- AI 能力增速是场拔河:「AI 改进 AI」对撞「边际递减」 — CFGeek · 2026-11-08
- Agent S4:让智能体从任务经验中自进化可复用交互接口 — burkov · 2026-11-08