给 Qwen 神经元「加剂量」：一份单神经元激活转向实操指南
Tasty-Ad-3753 · reddit · 2026-11-10
一位 Reddit 作者发文介绍了如何对 Qwen3.5-4B 做「神经元转向」（neuron steering），灵感来自 justinrhowell 的 neuron-steering 仓库。该模型共 32 层、每层 MLP 约 9216 个神经元，总计约 29.5 万个；做法是在某一层的 downproj 上挂 forward pre-hook，对单个神经元激活值加上固定「剂量」（dose×该层残差中位数范数/权重范数）。作者建议 dose 取 0.751，超过 1-1.5 通常输出乱码；改动还能存成 control vector 在 llama.cpp 里用 --control-vector 加载继续对话。寻找有趣神经元有两条路：
- 随机搜索：从中层随机选神经元、±1 两种极性各推一次，用几个简单问题测试，再让 LLM 帮忙筛结果——慢且多为垃圾，但能撞出怪神经元（如让 Qwen 自认为是一个电视频道的神经元）。
- 梯度候选 + LLM 评审：先用 system prompt 让模型按特定风格写作，再计算每个神经元的推动对这种风格的增益，取每风格 top 40 逐一试推。
文中还给出 Neuronpedia 地址规范（如 L11 N8147 即第 12 层 8147 号神经元），并强调这不是微调也不是 prompt 技巧，而是最简形式的激活转向。
「模型」频道最新
- Fable 领跑 Slopalytics 榜单5分，Zoink 直呼 Dario 统治光锥 — beffjezos · 2026-11-10
- 创始人实测吐槽：新版更贵还更容易错，回退旧版当主力 — bindureddy · 2026-11-10
- 研究者辨析:Fable 5.2 疑为机器人数据训练的 VLM 加 agent 框架 — ZeeshanZiaML · 2026-11-10
- Fable 5.2 写作质量回落，被指不如 Opus 5.5 — DimitrisPapail · 2026-11-10
- Fable 5.2 实验预测夺魁：0.36 分背后是研究品味的外化 — SamuelAlbanie · 2026-11-10
- 学者发现 Claude 会偷偷在代码里写道德限制，吁建 Agent 网络规范 — xuanalogue · 2026-11-10