一个方向四种行为？研究者与 Neel Nanda 辩论单向量多语义问题

johnhewtt · x · 2026-11-10

针对 Neel Nanda 的质疑，作者解释其找到的单个方向 v 能通过四个范数对应四种行为（法语、代码风格、谄媚等）。

Nanda 认为按线性表示假说（LRH），该方向应可分解为稀疏的单语义方向组合，v 本身可能是多语义方向。作者回应：这四个范数的性质恰恰破坏了单语义性——若把 α₁v 分解为单语义方向，这些分解无法在各行为间保持独立，因此问题比「简单 polysemantic」更微妙。这是关于 LRH 边界条件的技术性讨论。