MIT 团队实现权重空间编程：GPT-6 只改 0.016% 权重将 Qwen 数学成绩提升 6 倍
lateinteraction · x · 2026-11-03
MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab 发布研究《Sparks of Weight-Space Programming》，发现前沿 LLM 能原生读写神经网络权重，效果远超人类或传统算法，他们称之为「Weight-Space Programming」。
- 修 Qwen 数学：让 GPT-6 Astra 在不训练、无梯度的情况下改 Qwen3.5-0.8B 的权重。它定位到权重中导致推理死循环的问题（Qwen 自己的模型卡都警告过），只编辑约 0.016% 的权重，MATH-500 从 7.9% 升至 48.1%，且免费外溢到指令跟随，IFEval 提升 3 倍。
- 从零写小网络：仅凭推理、不许写训练循环，Astra 从头写出的小游戏策略网络能击败 PPO 训练 1 亿步的网络；还能只看原始权重就判断出某网络是用什么游戏训练的（17,253 个权重，Breakout 99% 置信）。
- 一次修好卡死策略：对一个过不了终点的赛车策略，Astra 一次编辑 3.5% 权重即达 100% 成功率。
作者的观点是：深度学习史上我们一直把简单的归纳偏置编码进 Adam、Muon 这类小型符号优化器，而未来网络权重将由会「思考权重含义」的 LLM 直接优化，这对优化与可解释性都可能是大事。
所属事件:MIT 权重空间编程：AI 直接改 0.016% 权重数学成绩升 6 倍(41 条相关)→
「模型」频道最新
- LiquidAI LFM3-1.7B 登顶 HF 趋势榜：5 天 1k 星、42.4k 下载 — maximelabonne · 2026-11-03
- Weight-Space Programming：GPT-6 直接改 Qwen3.5 权重，数学能力提升 6 倍 — lateinteraction · 2026-11-03
- Gemini 又现出圈回复,研究者感叹「对齐很复杂」 — vedantmisra · 2026-11-03
- Domingos 一句话观点：人类比 AI 更耐数据 — pmddomingos · 2026-11-03
- OpenAI:ChatGPT 中类搜索查询量约为谷歌的五分之一 — firstadopter · 2026-11-03
- LFM3-1.7B 量化实测:3.6 GB 显存近无损,2.2 GB 轻度降质 — crusaderky · 2026-11-03