GoodfireAI 直接改权重，将神经元标签偏差从 94% 降到 5%

tszzl · x · 2026-07-29

GoodfireAI 分享了一次黑客松实验：他们训练一个 LLM 给自己的神经元打标签，但 RL 过程崩掉了，因为 94% 的标签都以“texts”开头。

团队没有重做数据或重新训练，而是直接改了权重，把“texts”出现率从 94% 降到 5%，且副作用很小。这个案例展示的是对模型内部表征的直接干预，而不是常规训练修补。

原文链接 →

「研究」频道最新

• Goodfire 创始人挑战叠加假说：InceptionV1 多语义性或另有成因 — petrusenko_max · 2026-10-16
• UPenn 实验：让 Claude 批判自己默认想法,研究灵感产出提升最多 — arjunrajlab · 2026-10-16
• 实测 11 种提示策略催 LLM 创意：直接要「非显而易见」的点子最有效 — arjunrajlab · 2026-10-16
• 研究者长期实验：什么样的提示词能让 LLM 产出最有意思的点子？ — arjunrajlab · 2026-10-16
• SimpleMark 论文:多比特文本水印可将每 token 失真限制在预算内 — rishabh16_ · 2026-10-16
• 斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力 — HirokatuKataoka · 2026-10-16

更多「研究」频道 AI 资讯 →