新研究提出 Self-Rewriting:LLM 无需反向传播直接改写自身权重
kalyan_kpl · x · 2026-11-19
论文介绍了一种名为 Self-Rewriting 的方法,让语言模型利用自身推理能力直接修改神经网络权重,全程无需梯度计算、反向传播或常规训练。
要解决的问题
- LLM 训练后权重通常被冻结,改进需要额外微调或外部优化
- 现有自我改进方法多停留在修改提示词、生成训练数据或依赖外部模型
- 核心问题:模型能否诊断自身弱点,通过直接改写权重实现能力提升
Self-Rewriting 流程
- 诊断(Diagnose):识别错误答案与反复出现的失败模式
- 检视(Inspect):考察内部表征、隐藏状态与权重矩阵
- 假设(Hypothesize):定位导致失败的模型组件并据此修改权重
所属事件:新研究:27B 模型无需梯度即可改写自身权重(4 条相关)→
「研究」频道最新
- Berkeley 团队开源 StreamEmbed:屏幕历史检索提速3.7倍且全本地运行 — berkeley_ai · 2026-11-19
- NAACL RAF 开放 2026-2027 资助申请,5 月 6 日截止 — keviv9 · 2026-11-19
- 开源 Indic 脏话检测模型:12 种印度语言 + 英语,CPU 上每条评论 4ms — sudalairajkumar · 2026-11-19
- MAVE:从电影镜头重建可编辑 3D 场景,直接在 Blender 内使用 — bdsqlsz · 2026-11-19
- NAACL 2027 学生研究工作坊征稿,截稿 2027 年 1 月 11 日 — keviv9 · 2026-11-19
- 260份文档实测:Gemini 3.8 Flash 以94.6分登顶文档抽取榜 — refractr · 2026-11-19