斯坦福论文:27B 模型靠推理改写自身权重,零训练零梯度自我提升
rohanpaul_ai · x · 2026-11-21
Stanford 等多所顶级实验室发布论文《Language Models Can Rewrite Their Own Weights》,首次展示模型可通过自身推理直接改写自己的权重,无需梯度、无需训练。
核心发现:
- 团队让开源 27B 模型(Qwen 系)拿到自己的权重、带评分的练习答案和自我运行能力,自行诊断失败原因并改写相关权重,相当于「模型即自己的优化器」。
- 模型对未见过的题目准确率提升 6.6 分;在连续 8 轮会话中,它先在练习题上验证每轮改动、只保留有效的编辑,准确率持续上升。
- 自修复能力:一个几乎失效的受损副本,在未读原权重、未重新训练的情况下,被模型修复到原准确率的 80% 以上。
- 能力随规模涌现:同家族小模型不会编辑或把自身改坏,只有最大的模型能自我改进与修复。
论文链接:arxiv.org/abs/2611.21885
所属事件:多机构论文:语言模型可凭推理改写自身权重(2 条相关)→
「模型」频道最新
- 谷歌两周连发:Gemini 4 三款新模、Genie 4 世界模型、Robotics 2.5 等八项 — GoogleAI · 2026-11-21
- OpenAI 扩大 Daybreak 攻防安全模型准入,GPT-6 Astra 蓝队 alpha 扩容 — OpenAIDevs · 2026-11-21
- 语音对话模型别只看每分钟价格,失效通话成本才是大头 — graceisford · 2026-11-21
- Persimmon v0.1 Pro 与 Ultra 版本上线 Playground 并开放 API — gharik · 2026-11-21
- Unsloth 疑似筹备 4 个新模型,HuggingFace 集合已现隐藏条目 — coder543 · 2026-11-21
- Hume 团队为拟人用户模拟模型从零构建安全框架 — LukeW · 2026-11-21