MIT 研究称 LLM 可直接改权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1%
lateinteraction · x · 2026-11-03
MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab 发布「Weight-Space Programming」研究：前沿 LLM（GPT-6 Astra）能原生读写神经网络权重，能力远超人类和传统算法。
关键结果：
- 看权重识任务：仅看 17,253 个原始权重，Astra 以 99% 置信度判断出网络是在 Breakout 上训练的，全程不用工具。
- 从零写网络：无任何环境反馈，Astra 从零写出的小型游戏网络能击败 PPO 训练 1 亿步的策略；另一次只编辑 3.5% 权重就修复了无法过线的策略。
- 无梯度修复 Qwen3.5-0.8B：让 Astra 改进 Qwen3.5-0.8B 的数学能力，它定位到模型卡中警告过的推理死循环问题，仅编辑 0.016% 的权重，MATH-500 从 7.9% 升至 48.1%（提升 6 倍），并泛化到指令遵循，IFEval 提升 3 倍。
作者观点：深度学习史上我们只把简单的归纳偏置编码进 Adam、Muon 这类小型符号优化器，而今后神经网络权重将直接由会推理的 LLM 优化，这对优化与可解释性都可能是大事。
所属事件:MIT 提出 Weight-Space Programming：LLM 可直接读写神经网络权重(5 条相关)→
「模型」频道最新
- Nace 发布金融决策模型 Drex for Finance:48 项基准 85.7% 准确率超 GPT-6 Luna 14.8 个点 — testingcatalog · 2026-11-03
- Mistral 科学家 VP：仅用 10 兆瓦算力训出 Le Chonk，喊话给他 1GW — _AndrewZhao · 2026-11-03
- SKY-001 完整技术报告公布 — rohanpaul_ai · 2026-11-03
- 传 11 月 AI 发 model 大月：GPT-6.2、Claude Opus 5.6 等八款传闻窗口 — mark_k · 2026-11-03
- ML4 技术报告发布：预训练架构与 agentic 性能的交互 — Fluke_Ellington · 2026-11-03
- Gemini 记忆功能被用户吐槽:表现糟糕引发讨论 — Responsible_Mix_8132 · 2026-11-03