复现 MIT「权重空间编程」:Claude 手改 Gemma 8 个神经元,精准改一个意大利语时态
FeydRowan · reddit · 2026-11-04
作者复现 MIT CSAIL 展示的「权重空间编程」(让前沿模型直接编辑小模型权重):让 Claude Opus 5.5 在无梯度、无训练的条件下,通过 Python 内核直接改写 Gemma 4 12B 的 MLP 神经元,解决一个翻译偏好问题——意大利语中「had been doing」类句子,Gemma 默认用「si era nascosto per」,作者想要表「仍在持续」的「si nascondeva da」,且只在语义需要时才切换(时态已结束的句子不能改)。
做法与发现:
- Claude 先用线性探针确认 Gemma 中间层其实已能近乎完美区分「仍在持续 vs 已结束」,只是没在选动词时使用
- 随后改写 8 个 MLP 神经元做成只在特定语境触发的「开关」,仅动 92k/11.9B 参数(约 100KB diff)
- 未见句子上测试:旧形式占比从 26%/32% 降到 5%/16%;system prompt 方案虽降到 4%/2% 但把 49/50 个不该改的控制句也改错了;均值差消融直接崩坏;LoRA 破坏 120 个无关翻译;手改只破坏 2 个控制句,182/200 无关翻译不变
- 三次运行两次成功,且独立收敛到同一「开关神经元」设计;仓库含代码、agent 日志与全部基线
结论:定点权重编辑比 prompt、消融、LoRA 都更精准,一次构造一个模型的样本量小,但方法路线很有启发。
「编程与Agent」频道最新
- 用 Agent 状态机给 LLM 加确定性脚手架,告别模型随机决策 — blaizedsouza · 2026-11-04
- 一句话用 Aristotle 定理证明器验证 Ibex CPU 乘除指令 — satnam6502 · 2026-11-04
- Vibe coding 风险账：六个合规雷区每项都能罚款六位数 — aakashgupta · 2026-11-04
- 自研 Rust 推理引擎跑 Qwen：250K 上下文响应快 13.4 倍 — ahstanin · 2026-11-04
- Phone Use Arena 上线:17 个手机操作 Agent 实测,单任务成本差 150 倍 — ycombinator · 2026-11-04
- Tardigrade 0.52 发布:内置生产级 Agent,用 Effect TS 实现「Agent 的 npm」 — hrishioa · 2026-11-04