MIT 团队让 LLM 直接改权重:数学成绩 7.9% 飙到 48.1%
winer666 · reddit · 2026-11-16
MIT 研究者(Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab)让 GPT-6 Astra 直接编辑小型 Qwen 模型的权重——不走梯度下降、不用训练数据。Astra 找到并移除了导致模型反复循环输出直到耗尽上下文的权重模式,仅改动约 0.016% 的权重,数学成绩从 7.9% 升至 48.1%。
- 三篇方法论文已于 11 月 6 日上 arXiv(如 arXiv:2611.09382)
- 同批其他演示:只改 1023 个参数让 LLM 在 MATH-500 提升 29.45 分;编辑 65 行 token 嵌入来调试机器人策略;完全无训练、由游戏规则直接构建的 Breakout 网络得分 517.4,远超训练 5 亿步的 25.3
- 重要保留意见:收益主要来自修正坏习惯而非注入数学知识(修改前 93% 答案触发长度上限,修改后 33.1%);在很少重复输出的小 Gemma 模型上没有既定数学收益;Matthew Honnibal 曾发长文反驳原结论被夸大,但 Simon Willison 随后用 Qwen 3.8 27B 在笔记本上本地复现了权重编辑;头条结果的独立复现仍待验证
作者认为最有意思的是框架本身:这是「直接手术式修模型」而非训练——若能泛化,调试模型可能变得像调试代码:定位权重、打补丁、验证。也引出问题:模型的能力有多少被可修复的怪癖锁住,而非真的缺失?
「模型」频道最新
- 用户吐槽 GPT-5.5 难用:写冗余代码、乱建重复函数 — yacineMTB · 2026-11-22
- 实测对比:Gemini 端侧模型未测就宣称 2-3 倍加速 — bdsqlsz · 2026-11-22
- Jeremy Howard:Gemini Neon 实力被谷歌自家低估,评测口径失真 — AccBalanced · 2026-11-22
- 12.8GB 近无损量化版 Inkling-2-Mini 发布,手机也能跑 Haiku 级模型 — teortaxesTex · 2026-11-22
- 博主质疑:夸 Gemini 4 Neon 的人真的在用 Antigravity 吗 — iScienceLuvr · 2026-11-22
- 20GB 开源模型在飞机上离线跑通编码 Agent,几分钟写出飞行模拟器 — heyshrutimishra · 2026-11-22