不训练直接改权重:研究者把可解释性「权重手术」做成 Claude Code 插件
AchelousAce · reddit · 2026-11-13
作者在训练小型模型时遇到重复循环问题,尝试不做训练、不加解码惩罚,直接定位并修改引发循环的权重,最终做成开源 Claude Code 插件 Weight-Surgery(一个 skill 加一个 PyTorch 文件),让编码 agent 在任意已训练 transformer 上端到端执行「权重手术」。
插件能力
- 扫描注意力头(induction/copy 扫描、消融与缩放)、归因前馈写入者、用对比方向拆分同一头内的两种职责、施加可逆编辑。
- 用剂量系列和随机对照做筛选,在生成上验证,保存带 diff、manifest 和 undo 文件的新 checkpoint。
实测结果
- 扫描精确定位一个 induction head(induction 分 0.425,普通 copy 0.012)是循环元凶;直接关掉它只能把循环率从 29.4% 降到 25.4%,因为它还负责把名字复制进阅读答案。
- 改为拆分 copy 头内的两种职责,只削减循环方向:960 条新样本上循环率从 30.5% 降到 25.2%,greedy 循环从 41.6% 降到 35.3%,阅读成绩几乎不变(+0.01),整体 loss 仅升 0.08。
- 两个有效技巧:裁剪写入权重的代价更小(+0.001 loss,而把同方向投影出残差流要 +0.32);对单个前馈层做 rank-1 编辑,把 T=0.7 采样下的循环率从 19.4% 减半到 9.4%。
代码在 GitHub 开源,展示了不重训就能精准修复模型行为的一条路径。
「编程与Agent」频道最新
- AI 原型一半时间不好使？作者建议先让 Agent 少干点活 — brandon_galang · 2026-11-13
- Claude Code + Unreal 5.9：iOS 游戏移植 iPhone 和 iPad 几乎零手工 — chongdashu · 2026-11-13
- Influzer 上线 MCP 服务器即检工具：粘贴 URL 看暴露了什么 — Fine_Airline_6832 · 2026-11-13
- 开源 CLI 把上千端点的 OpenAPI 规范压缩成 25 个工具的 MCP 服务器 — Worried-Barracuda845 · 2026-11-13
- 按席位付费失控：AI 编码工具席位管理成企业新痛点 — rcleffke · 2026-11-13
- 工程师观点:LLM 让形式化验证像 Rust 一样被用起来 — arpit_bhayani · 2026-11-13