MIT 提出「权重空间编程」：GPT-6 直接读写并修补神经网络权重
MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab 发布「Weight-Space Programming（权重空间编程）」研究：前沿 LLM（GPT-6 Astra）无需额外训练，即可原生读取、编写并对神经网络权重进行推理，把原始权重当作可读、可编辑的「代码」，直接诊断失败原因并打补丁修复。当前结论是多项演示显示该能力初步成立，但仍处于早期验证阶段。
已确认
- 仅修改 Qwen3.5-0.8B 约 0.016% 的参数（无需梯度、无训练过程），MATH-500 成绩从 7.9% 提升至 48.1%。
- 识别任务：GPT-6 Astra 不借助任何工具、仅查看 17,253 个原始权重数值，即以 99% 置信度判断某策略网络是在 Breakout 上训练的。
- 从零编写网络：在不给环境反馈的条件下，Astra 能从头写出可运行的小型神经网络。
- @nathanbenaich、@viksit、@RichmanRonald 等多位作者转发该研究并评论称，这可能开辟一条不经过传统训练流程的模型修复/改进路径。
为什么重要
- 传统上修改模型行为需要梯度训练或微调；若 LLM 能直接对权重做「外科手术式」编辑，模型调试、修复和定制可能大幅简化。
- 前沿 LLM 展现出对底层参数的隐式理解能力，暗示其预训练中学到了关于权重结构与功能的知识，对可解释性和模型可控性都有潜在意义。
- 该方向仍处于早期，帖子作者多为转发与演示分享，后续效果与可复现性有待更多验证。
2026-11-03 ~ 2026-11-03 · 7 条相关
一手来源
- Astra 裸改 Qwen3.5-0.8B 权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — Pyros-SD-Models ·
- MIT CSAIL 论文：GPT-6 裸看权重改 0.016% 参数，MATH-500 从 7.9% 提到 48.1% — viksit ·
- 前沿 LLM 被发现能直接读写神经网络权重 — nathanbenaich ·
- MIT 研究称 LLM 可直接改权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — lateinteraction · 2026-11-03
- 【源头】前沿 LLM 被发现能直接读写神经网络权重 — nathanbenaich · 2026-11-03
- 【源头】MIT CSAIL 论文：GPT-6 裸看权重改 0.016% 参数，MATH-500 从 7.9% 提到 48.1% — viksit · 2026-11-03
- 【源头】Astra 裸改 Qwen3.5-0.8B 权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — Pyros-SD-Models · 2026-11-03
- GPT-6 Astra 仅改 0.016% 权重，让 0.8B 小模型数学提升 6 倍 — RichmanRonald · 2026-11-03
- GPT-6 直接改权重:仅动 0.016% 参数让 0.8B 模型数学提升 6 倍 — teortaxesTex · 2026-11-03
另有 1 条近重复转述:CSProfKGD