steering 单个神经元可扩大模型 J-space，残余流更呈 J-lens 形态
Sauers_ · x · 2026-10-26
作者观察到：对 Qwen3-8B 第 17 层的单一神经元（强度 -0.5）进行 steering，会使模型的 J-space 变大——通过残余流变得更「J-lens 形状」实现，而非工作区容量的增加。图中数据显示：过度方差解释率从 2.1% 升至 3.1%（20 个随机神经元对照无此效果），occupancy 从 8 升至 10.5，6 个 J-lens 向量的方差解释从 3.06% 升至 3.88%。前提是该模型本身 J-space 很小，因此变化较易观察到。
「研究」频道最新
- CS 教授：3D 损失曲面可视化反而误导，高维优化直觉不可靠 — CSProfKGD · 2026-10-26
- 斯坦福 Marin 开源模型 535B 预训练完成超 80% — stanfordnlp · 2026-10-26
- 研究：24 个语音识别模型互相「听」世界的方式各不相同 — stanfordnlp · 2026-10-26
- 斯坦福 NLP 公开 Chris Potts COLM 2026 可操作可解释性主题演讲幻灯片 — stanfordnlp · 2026-10-26
- 新论文提出 Safety Mid-Training:攻击成功率降 72-81% 且不损通用能力 — stanfordnlp · 2026-10-26
- 研究：提示词诱导下 LLM 产出历史修正主义叙事比例高达 81-97% — ZhijingJin · 2026-10-26