改 0.0002% 权重无训练胜原模型，MIT 提出权重空间编程

dbreunig · x · 2026-11-05

MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab 发布《Sparks of Weight-Space Programming》，发现前沿 LLM 能原生「读」和「写」神经网络权重，称为 Weight-Space Programming。
GPT-6 Astra 只看原始权重就能判断网络被训练来做什么，还能从零写出小规模游戏网络，胜过用 PPO 训练 1 亿步的模型。
对 Qwen3.5-0.8B：Astra 定位到导致推理循环的权重问题，无梯度地编辑 0.016% 的权重，把 MATH-500 从 7.9% 提到 48.1%，IFEval 提升 3 倍，且无需写训练循环。
Hector He 等将此用于 NanoJev 坦克战模型：读取「开火/按兵不动」方向并加到决策头，只改 1024 个权重（0.0002%），单 GPU 几分钟完成，100 局对战以 65-34 胜原模型——模型射击精度没变，只是不再犹豫，开火频率约翻倍。
作者认为这标志着深度学习从 Adam/Muon 这类小型符号优化器，转向由 LLM 有意推理权重来原生优化网络，对优化和可解释性都可能是大事。

「模型」频道最新