论文:27B 开源模型能自我改写权重,无需梯度训练
jedisct1 · x · 2026-11-21
arXiv 新论文《Language Models Can Rewrite Their Own Weights》提出 "self-rewriting":语言模型充当自己的优化器,仅靠自身推理改写权重,无需梯度和再训练。
- 此前工作是大模型编辑小模型,这次是一个开放 27B 模型拿到自身权重、评分反馈和运行自身的能力后,诊断自身失败并改写相应权重
- 自我编辑使其在从未见过的问题上准确率提升 6.6 分;模型在练习题上测试编辑、只保留有效的改动,连续八个会话准确率单调上升
- 还能修复受损的自身副本:不重训、不读原始权重,把几乎失效的副本恢复到原图像任务 80% 以上准确率
- 该能力随规模涌现:同族小模型要么不编辑要么改坏自己,只有最大模型能自我改进
所属事件:斯坦福等机构发布论文:语言模型可自改自身权重(4 条相关)→
「研究」频道最新
- Anthropic 研究员自称与 Claude 合作发现黎曼猜想证明 — Kyrannio · 2026-11-21
- 斯坦福 AI100 2026 报告发布:Scaling 时代与生成式 AI 成为主流 — stanfordnlp · 2026-11-21
- 新基准揭示前沿模型多智能体协作普遍不佳 — AlexGDimakis · 2026-11-21
- 斯坦福 CS329Z 第九讲公开:Prompts vs Weights 的 Agent 优化全解 — stanfordnlp · 2026-11-21
- 斯坦福团队实证 EMA 权重平均:为何能降损失但略输给 LR 衰减 — stanfordnlp · 2026-11-21
- Hardy 的明信片:宣称证明黎曼假设以防渡船沉没的数学轶事 — arampell · 2026-11-21