权重编辑 vs LoRA 四 bug 实测:单神经元补丁精准但不持久
kevinpl07 · reddit · 2026-11-07
作者对「Sparks of Weight-Space Programming」补跑基线对照的完整实验报告，4 个开源模型(1B–4B 聊天模型 + Whisper-small)上的真实 bug，每个修复只重写最后一层 MLP 的一个神经元：
结果表(held-out 集，bug 发生率，越低越好)：
| Bug | 基线 | 权重编辑 | LoRA | Prompt | 随机编辑 |
|---|---|---|---|---|---|
| 虚构传记(Gemma-3-4B) | 98% | 16% | 30% | 6.8%¹ | 97% |
| 提示注入(Qwen3-4B) | 26% | 2.5% | 0% | 13% | 27% |
| 填充式结尾(Gemma-3-1B) | 59% | 23% | 8.3% | 29% | 62% |
| 静音段出词(Whisper) | 84% | 0.3% | 0.3% | 6.7%² | 84% |
¹ prompt 基线会把真实人物的正确事实从 57% 降到 20%
站得住的结论：
- 这是补丁不是训练方法：LoRA 在 4 个 bug 中 3 个持平或更好，但编辑能保持 69–100% 其他输出逐字不变，LoRA 只有 0–75%;虚构传记场景下所有 LoRA checkpoint 的聊天 KL 散度都高于任何强度的编辑
- 依赖近乎完美的内部信号(probe AUC 0.99–1.0)；信号弱时(如谄媚妥协，AUC≤0.70)无从下刀
- 编辑不持久：20 步普通 SFT 即抹除，被编辑神经元权重 cosine 1.0000 不动，是它的输入在移动
作者自我批驳： 本质是 probing + steering，新意只在「LLM agent 能从原始权重里自己找到这些」；盲测 Opus 在 Whisper 和语言混用上 3/3 通过，但在 ResNet-50 上 0/3、Phi-3 过度拒答上 0/6；agent 自己动手编辑虚构传记只做到 98%→68%。评测用正则加人工抽查，中途修过一个高估 prompt 基线的 scorer bug。
论文：kevinpl07.github.io/weight-patching · 代码与全部结果：github.com/kevinpl07/weight-patching
所属事件:实测权重空间编程：LLM 直改权重有效但不持久(2 条相关)→
「研究」频道最新
- 爆料称 ICLR 审稿现乱象：前沿实验室被指用恶意评审操纵结果 — examachine · 2026-11-07
- 新工作 SSF：让机器人在看不见全屋的情况下推理找钥匙 — _krishna_murthy · 2026-11-07
- scaling law 归属引社区吐槽：「要么被 Schmidhuber 点名，要么成为他」 — teortaxesTex · 2026-11-07
- 斯坦福联合 Together AI 提出 NCM：层级概念生成取代逐 token 预测 — bendee983 · 2026-11-07
- 新基准 BenchBench-Refusals：部分模型误拒超 50% 正常生物学术语 — nlarusstone · 2026-11-07
- AI 设计噬菌体只是第一步：从 DNA 序列到患者还要走多远 — exnx · 2026-11-07