GPT-6 Astra 仅改 0.016% 权重，让 0.8B 小模型数学提升 6 倍

RichmanRonald · x · 2026-11-03

MIT 团队（@rikiyatakehi、@jaydenteoh 等）提出 Weight-Space Programming（权重空间编程）：让前沿 LLM 直接读写神经网络的权重，而非生成代码。在实验中，GPT-6 Astra 被要求编辑 Qwen3.5-0.8B 的权重以提升数学能力——它只直接修改了 0.016% 的权重，在不使用梯度、不做任何训练的情况下，修复了 0.8B 模型的推理死循环，数学能力最高提升 6 倍，指令遵循也提升 3 倍。

研究者 @a1zhang 指出这一方向的更大愿景：未来可以用已训练好的模型「冷启动」任意新架构——由 LLM 根据已有模型的权重规律补全新架构的权重，而不必在同一语料上重复预训练成千上万次。他把这称为一个远大但自然的起点：先搞清楚 LLM 对深度学习模型权重空间的理解和编辑能力有多强。