MIT 团队让 GPT-6 Astra 直改 Qwen 权重：仅动 0.016% 参数，数学成绩 7.9%→48.1%
lateinteraction · x · 2026-11-03
MIT CSAIL 的 Rikiya Takehi 等人（合作者含 Omar Khattab、Alex Zhang）发布「Weight-Space Programming」博客，登上 Hacker News 第一（618 分）。
核心发现：前沿 LLM 能原生读写神经网络权重，超出人类和传统算法的预期。
- 仅看原始权重，GPT-6 Astra 就能判断网络被训练来做什么；无需环境反馈，从零写出的小型游戏网络能胜过用 PPO 训练 1 亿步的网络。
- 让 Astra 在不训练、不用梯度的情况下改进 Qwen3.5-0.8B 的数学能力：它定位到权重中导致推理循环的问题（Qwen 自己的 model card 也警告过），直接编辑 0.016% 的权重修复。相同采样设置下 MATH-500 从 7.9% 升至 48.1%，并零成本泛化到指令遵循，IFEval 提升 3 倍。
- 作者称这对优化和可解释性都可能是大事：模型凭推理理解网络各部分该计算什么，再改权重。
所属事件:MIT 权重空间编程：AI 直接改 0.016% 权重数学成绩升 6 倍(40 条相关)→
「模型」频道最新
- Domingos 一句话观点：人类比 AI 更耐数据 — pmddomingos · 2026-11-03
- OpenAI:ChatGPT 中类搜索查询量约为谷歌的五分之一 — firstadopter · 2026-11-03
- LFM3-1.7B 量化实测:3.6 GB 显存近无损,2.2 GB 轻度降质 — crusaderky · 2026-11-03
- 观点：手调任务型小模型将是 AI 变现主力，大模型负责编排集成 — basedjensen · 2026-11-03
- gradient descent 终局论：万亿 token 后模型自己成了优化器 — DimitrisPapail · 2026-11-03
- Particle 模型首进数据分析 Pareto 前沿，击败 Haiku 5.5 — ycombinator · 2026-11-03