GPT-6 仅改 0.016% 权重，让 0.8B 小模型数学成绩暴涨 6 倍
SergioPaniego · x · 2026-11-03
MIT 团队论文《Sparks of Weight-Space Programming》提出「权重空间编程」：前沿 LLM 可以直接原生读写神经网络权重，无需梯度或训练循环。
核心结果：
- 仅看原始权重，GPT-6 Astra 就能判断网络被训练来做什么
- 从零写出小型游戏网络，胜过 PPO 训练 1 亿步的网络
- 针对 Qwen3.5-0.8B，Astra 定位到导致推理循环的权重问题并直接修改 0.016% 的权重，将 MATH-500 从 7.9% 提升到 48.1%（约 6 倍），IFEval 指令遵循提升 3 倍，且增益可泛化
- 全程不允许 Astra 写训练代码，纯靠推理理解网络各部分在算什么再改权重
作者认为这对优化和可解释性都可能是件大事。论文已上线 Papers with Code，代码开源于 rikiyat/lmunderstand-logs。
所属事件:MIT 提出「权重空间编程」：GPT-6 直接改权重修模型(28 条相关)→
「漫话AGI」频道最新
- vboykis:Reddit 回复已有 80% 是机器人,X 回复区同样沦陷 — vboykis · 2026-11-03
- Zvi 撰文反驳 Scott Alexander 反 SURA 论:该停就停别找借口 — TheZvi · 2026-11-03
- vboykis 警告：互联网正变得「冰冷而代理化」，产品不再为人而做 — vboykis · 2026-11-03
- vboykis:AI 最可怕的不是 AGI,而是我 20 年的互联网心智模型失效了 — vboykis · 2026-11-03
- 「所有人都在版权数据上训练」：AI 版权争议又一表态 — Merzmensch · 2026-11-03
- RSI 若来，市场严重低估 AI 进展：配图对比三条曲线 — ohlennart · 2026-11-03