两行代码复现「权重空间编程」:把 Qwen3.5 某权重翻倍修循环

VictorSanh · x · 2026-11-12

作者给出在 MATH-500 上复现「权重空间编程」修复的两行代码:加载 Qwen/Qwen3.5-0.8B 后,直接把第 22 层 MLP downproj 权重第 573 列乘以 2,即可修复模型爱生成 "Wait"、陷入循环耗尽思考 token 的问题(原失败率 93%)。

这是前一帖的补充:Beaker agent 在不训练、不跑梯度的情况下自主找到了这处权重修改——把一次黑盒的 agent 行为修复,压缩成任何人都可用 transformers 验证的两行代码。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →