哥大研究质疑线性表示假说：LLM 激活空间本质非线性

哥伦比亚大学 John Hewitt 发表博文《Do Not Rely on the Linear Representation Hypothesis》，通过实验挑战可解释性领域的线性直觉：同一个 steering 向量在四种不同范数下会触发四种不同行为；两个各自有效的向量相加后却会 steer 出无关任务。作者认为模型对激活空间的诠释是彻底非线性的，仅依赖线性表示假说并不可靠。

2026-11-05 ~ 2026-11-05 · 3 条相关