斯坦福等论文:27B 开源模型无需训练自改权重,准确率升 6.6 点
rohanpaul_ai · x · 2026-11-21
UIUC、CMU、斯坦福、普林斯顿等机构的论文《Language Models Can Rewrite Their Own Weights》展示「自改写」(self-rewriting):给 Qwen3.5-27B 提供自身权重、带评分的练习答案和一个 Python 会话,禁止梯度与训练,模型通过推理自行编辑权重。
- 做法:模型对比「答完的答案」与「耗尽 token 的答案」的隐藏状态,找到区分两者的方向并削弱它。
- 结果:在预先固定的 490 道未见题目上,准确率从 57.2% 升至 63.8%(+6.6 点);收益保留在权重中,不像 test-time scaling 每次答题都付成本。
- 修复能力:仅凭文本数学题学会的修复,能把受损模型副本在 6 个未见图像基准上从 7% 拉到 70%(达完好模型的 83%)。
- 规模效应:2B 模型不做编辑,4B 与 9B 模型会改坏自己,只有 27B 能像人一样修复自身。
- 实用建议:跑大开源模型时,可让它针对自身失败提出权重编辑,但只保留通过留出集测试的编辑。只需一个开源模型和单卡 GPU 数小时。
「研究」频道最新
- 数学界迎来「莱特兄弟首飞」时刻,KOL 争相定义其历史地位 — jamesdouma · 2026-11-21
- 模型自改权重:27B 无梯度自优化,8 轮迭代准确率持续上升 — Jiajun Fan · 2026-11-21
- Anthropic 数学家称与 Claude 共同证明黎曼假设,待 Lean 验证 — NinaDSchick · 2026-11-21
- Stability 研究团队提出 PMD 蒸馏:匹配倾斜均值即可锁定教师后验 — ArashVahdat · 2026-11-21
- NeurIPS 论文:树搜索引导扩散模型,单次搜索覆盖多目标 Pareto 前沿 — CatAstro_Piyush · 2026-11-21
- 实践者吐槽:Lean 编译通过的自然语言证明,读起来仍是错的 — jasondeanlee · 2026-11-21