MIT 论文：GPT-6 Astra 原生读写神经网络权重，MATH-500 从 7.9% 提到 48.1%
ivan_bezdomny · x · 2026-11-03
MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab 发布论文《Sparks of Weight-Space Programming》，发现前沿 LLM 能惊人地原生读写神经网络权重，能力远超人类和传统算法。
关键发现：
- 读权重：GPT-6 Astra 仅凭 17,253 个原始权重（不用任何工具）就能以 99% 置信度判断某网络是用什么游戏训练的。
- 写权重：无需环境反馈，从零写出的小型游戏网络能击败用 PPO 训练 1 亿步的策略；面对一个训练失败的策略，一次性编辑 3.5% 的权重使其达到 100% 成功率。
- 修模型：让 Astra 在不给梯度的情况下改进 Qwen3.5-0.8B 的数学能力，它定位出权重中导致推理死循环的问题（Qwen 自己的模型卡都警告过），仅编辑 0.016% 的权重，MATH-500 从 7.9% 升至 48.1%，IFEval 提升 3 倍且无需微调即泛化。
整个过程禁止 Astra 编写训练循环，全靠推理来理解网络各部分应计算什么再直接改权重。作者称之为 Weight-Space Programming，认为深度学习史上把归纳偏置编码进 Adam/Muon 等小型符号优化器的时代正在结束，未来权重将由刻意推理权重的 LLM 直接优化。这对优化和可解释性都可能是大事。Qwen 系列本就是大多数人微调的基础，直接用更强模型改权重是全新路径。
所属事件:MIT 权重空间编程：AI 直接改 0.016% 权重数学成绩升 6 倍(41 条相关)→
「模型」频道最新
- LiquidAI LFM3-1.7B 登顶 HF 趋势榜：5 天 1k 星、42.4k 下载 — maximelabonne · 2026-11-03
- Weight-Space Programming：GPT-6 直接改 Qwen3.5 权重，数学能力提升 6 倍 — lateinteraction · 2026-11-03
- Gemini 又现出圈回复,研究者感叹「对齐很复杂」 — vedantmisra · 2026-11-03
- Domingos 一句话观点：人类比 AI 更耐数据 — pmddomingos · 2026-11-03
- OpenAI:ChatGPT 中类搜索查询量约为谷歌的五分之一 — firstadopter · 2026-11-03
- LFM3-1.7B 量化实测:3.6 GB 显存近无损,2.2 GB 轻度降质 — crusaderky · 2026-11-03