模型自改权重:27B 无梯度自优化,8 轮迭代准确率持续上升
Jiajun Fan · hf · 2026-11-21
UIUC、CMU、Princeton、Stanford 等多机构论文提出 self-rewriting(自改写):语言模型可以仅凭自身推理、不用任何梯度或训练,直接改写自己的权重来变得更强。
- 自我提升:27B 开源模型拿到自己的权重、带评分的答题结果和自我运行能力后,诊断失败原因并修改对应权重;在预先固定的 490 道未见测试题上,自身编辑带来 6.6 个百分点 的准确率提升,且其他 session 的编辑同样有效。
- 持续变强:模型只在自测通过时提交编辑,每次编辑替换上一次,前 8 轮 session 准确率单调上升;收益固化在权重里,不像 test-time scaling 那样按次付费,也不需要预训练/后训练基础设施,只要一个开源模型和单张 GPU 数小时。
- 自我修复:模型能定位自身被损坏的权重矩阵并用自算的数值重写,全程不读原始权重;仅在文本数学题上发现的修复能力,使损坏副本在 6 个未见图像 benchmark 上从 7% 升到 70%(达原模型的 83%)。
- 规模涌现:同一家族四个尺寸中,2B 不做编辑,4B/9B 会改坏自己,只有 27B 能像人类一样比较「答完」与「耗尽 token」两种回答的隐状态并削弱区分方向。
作者结论:改进语言模型未来可能只需要一次对话,而不是一次训练。
所属事件:模型自改权重:27B 无梯度自优化,8 轮迭代准确率持续上升(2 条相关)→
「研究」频道最新
- 数学界迎来「莱特兄弟首飞」时刻,KOL 争相定义其历史地位 — jamesdouma · 2026-11-21
- 斯坦福等论文:27B 开源模型无需训练自改权重,准确率升 6.6 点 — rohanpaul_ai · 2026-11-21
- Stability 研究团队提出 PMD 蒸馏:匹配倾斜均值即可锁定教师后验 — ArashVahdat · 2026-11-21
- NeurIPS 论文:树搜索引导扩散模型,单次搜索覆盖多目标 Pareto 前沿 — CatAstro_Piyush · 2026-11-21
- 实践者吐槽:Lean 编译通过的自然语言证明,读起来仍是错的 — jasondeanlee · 2026-11-21
- 黎曼猜想真被证明了会改变什么?答案:几乎不影响日常,四页纸加 1700 万行 Lean — stingning · 2026-11-21