EMNLP 论文：steering 向量只需 8-11% 计算图即可生效，可稀疏化 85-96%
sarahwiegreffe · x · 2026-10-25
马里兰大学 Stephen Cheng、Sarah Wiegreffe 等人的 EMNLP 2026 论文《What Drives Representation Steering? A Mechanistic Case Study on Refusal》，以拒答（refusal）为案例系统剖析 steering 向量的因果机制。要点：
- 电路发现：steering 效果可由全模型计算图中仅 8-11% 的子图恢复（85% 忠实度）；拒绝 steering 只需 8-11% 的 LLM 传播行为效应，注意力分数的直接影响很小。
- 机制：不同 steering 方法（Diff-In-Means、两类学习式方法）在同一层用的是功能可互换的电路；steering 向量主要通过 OV 电路作用于注意力机制，基本绕开 QK 电路。冻结全部注意力分数仅损失 8.83% 性能（对比消融 OV 电路的 54%）。
- 可解释性：对被 steering 的 OV 电路做数学分解，可提取出语义可读的概念（如 harmful、illegal、dangerous），即使 steering 向量本身不可读。
- 稀疏化：steering 向量的维度可裁掉 85-96% 仍保留大部分效果，且不同方法在重要维度子集上高度一致。
论文还给出多 token activation patching 框架，可推广为 steering 向量的通用电路发现方法。
「研究」频道最新
- 研究：LLM 自我重写 Agent harness 两轮仅提升 2.8 分且不显著 — omarsar0 · 2026-10-25
- Steering vectors 研究报告:稀疏传播、电路相似性与注意力效应分解 — sarahwiegreffe · 2026-10-25
- EMNLP 论文定位多智能体深度研究系统的忠实性与引用错误源头 — EliasEskin · 2026-10-25
- 递归语言模型 Jev 实测：百万 token 成本减半、速度快 6 倍 — dbreunig · 2026-10-25
- LeCun 等推出 JEPA 新变体 LeHami,用 1830 年代哈密顿力学优化世界模型 — TheTuringPost · 2026-10-25
- EleutherAI 携 6 篇论文参展 EMNLP 2026，录取率 100% — BlancheMinerva · 2026-10-25