模型能重写自身权重:27B 模型无梯度自改,修复损坏副本准确率 7%→70%
jiqizhixin · x · 2026-11-18
论文《Language Models Can Rewrite Their Own Weights》(arXiv:2611.21885,UIUC/CMU/Princeton/Stanford 等)提出「自重写」(self-rewriting):模型通过自身推理直接编辑自己的权重,无需梯度、优化器或更强模型。
- 核心结果:27B 模型(Qwen3.5 家族)读取自身权重、诊断失败原因并编辑相关权重,在 490 道未见过的题目上预注册测试中准确率提升 6.6 分;前 8 轮自改会话中准确率持续上升,每轮编辑仅在自身配对测试通过后提交
- 修复损坏副本:仅凭文本数学题上发现的能力,模型定位并重写被破坏的权重块,将副本在 6 个未见过的图像基准上从 7% 提升到 70%(达完好模型的 83%)
- 规模涌现:同家族中 2B 模型不做编辑,4B 和 9B 会改坏自己,只有 27B 能像人一样工作——对比答案耗尽 token 前后的隐藏状态,削弱区分二者的方向
- 成本优势:收益持久化在权重中、不增加每次推理成本,也不需要预训练/后训练基础设施,一个开源模型加一块 GPU 几小时即可
作者结论:改进语言模型未来可能靠「对话」而非「训练」。
所属事件:新论文:27B 语言模型无需训练即可重写自身权重(3 条相关)→
「模型」频道最新
- 爆料:OpenAI 企业版 Dots 拟分三档收费,$50/$200/$500 另加用量费 — jdjohnson · 2026-11-18
- antirez:Google AI 搜索答案对用户确是进步,旧网页生态已成垃圾场 — antirez · 2026-11-18
- Hugging Face 用 RL+LoRA 适配 Qwen 给 pi 编码 agent,SWE-bench Pro Hard 从 29.4% 升至 62.7% — art_zucker · 2026-11-18
- 从业者观点:AI 爱附和用户,因为诚实对厂商生意不利 — JFPuget · 2026-11-18
- 开发者预言 Opus 5.5 将比肩 Sonnet 3.5 与 GPT-4,但巅峰将逝 — inductionheads · 2026-11-18
- Ming-3.0-audio-flash 以 99.8% 准确率登顶音频推理榜 — alifcoder · 2026-11-18