3 个神经元控制 Gemma4 的关怀与蔑视,向量文件不到 70KB
New_Alps_5655 · reddit · 2026-11-12
Reddit 用户发布了对 Gemma-4-31B-it 潜空间的探索结果,并给出了可复现的 steering 方法:
- 同轴两面:模型的「关怀/蔑视」态度由同样 3 个神经元控制——L36 N1095、L44 N9148、L44 N2057,符号翻转即可从温暖关怀变为刻薄蔑视。仅 L36 N1095 一个神经元就是一个完整轴:正向推动模型说「我知道你的感受,你一定能做到」,负向推动则变成「别说了,走开」。
- 第三种人格独立控制:「反派腔」(villainy)由另一组神经元(L40/L42/L43)驱动,与蔑视轴相互独立。
- 可测量:以「我挂科了驾照考试」为题,关怀向量把下一个词「heartbreaking」的概率从 0.0002% 推到 83%;蔑视向量则把「I」的起始概率从 99.9% 压到 0.0004%。
- 落地方式:每个人格被导出为不到 70KB 的 llama.cpp 控制向量,无需微调、无需系统提示词,在 2-3 层的残差流上微推即可。
- 作者还开源了 Theodolite(github.com/whp199/theodolite),一个神经元图谱工具,教读者如何自己寻找 steering 配方并导出 GGUF 格式向量供 llama.cpp 使用。
「模型」频道最新
- GitHub 现身 qwen4exp 提交,Qwen4 开发迹象被社区捕获 — kinetic_energy28 · 2026-11-12
- Fable 5.2 降价后同一额度多干 38% 活,但耗周限仍是 Opus 5.5 的 2.9 倍 — FinanceYF5 · 2026-11-12
- Theo 实测数据:Claude Ultra 里 Fable 限额消耗速度明显快于 Opus — FinanceYF5 · 2026-11-12
- CogBattery:54 个开源模型对照人类认知任务的行为评测 — Dengzhe Hou · 2026-11-12
- 东北大学发布 WMIP 探针:LLM 累积状态追踪能力严重依赖输出协议 — Dengzhe Hou · 2026-11-12
- 百度 ERNIE 5.5 Flash 预览版:280B 参数,自称可从设计文档直出近百款可玩手游 — LearnWithBishal · 2026-11-12