27B模型学会修改自身权重,留出题准确率从57.2%升至63.8%
mark_k · x · 2026-11-21
一项让递归自我改进变得更具体的研究:一个 27B 参数的语言模型在获得自身权重、已评分答案和编辑测试途径后,成功学会了给自身权重打补丁。
- 最佳补丁在 490 道留出问题上将准确率从 57.2% 提升到 63.8%,且不需要额外训练运行,补丁生效后每次回答也无需额外计算。
- 局限:每个会话仍从同一基座模型出发,更好的补丁是替换旧补丁而非在其基础上累积。
- 作者期待下一步实验:让打过补丁的模型去做同样的自我改进任务,看它改进自己的能力是否也更强。
所属事件:多校论文:27B 模型可自改权重,无梯度提升准确率(6 条相关)→
「漫话AGI」频道最新
- 陶哲轩谈 AI 数学竞赛:赚走果实,数学上却几乎没学到东西 — GaryMarcus · 2026-11-21
- AI 研究取胜之道:把实验做小,单位时间信息增益最大化 — strickvl · 2026-11-21
- Ramez Naam 外推:AI 达到 98% 人类时长达任务还要十年 — GaryMarcus · 2026-11-21
- AI 该不该替用户拦截自毁式请求?Reddit 引发代理权之争 — LookOverall · 2026-11-21
- Shermer 重申 AI 观:不是乌托邦也非末世,而是渐进的「Protopia」 — intellectronica · 2026-11-21
- Hassabis 预言两年内 AI 攻克千禧难题,半年后黎曼猜想已有候选解 — Hesamation · 2026-11-21