GPT-6 直改 0.8B 模型权重提分 6 倍？挖细节后「魔法感」大打折扣

teortaxesTex · x · 2026-11-03

rikiyatakehi 团队宣称让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力：只改动了 0.016% 的权重，无需梯度或训练，就修复了 0.8B 模型的推理死循环，数学成绩最高提升 6 倍，指令遵循也提升 3 倍，并称之为「权重空间编程」（Weight-Space Programming）。

不过 @FakePsyho 深挖后泼了冷水：逐个实验看下来并不神奇，更像是一堆被挑选过的 demo 撑起宏大叙事。Exp 1-2 只有约 2 万参数、架构极简单，Exp 1 是 MLP 且参数几乎全在第一层，容易看清网络识别的对象；Exp 5 是把已知游戏策略压缩进 2 万参数的 MLP，人类也能做但费工夫；Exp 3 和 8 更接近用 Python 和成熟技巧做自动化机械可解释性，而非直接解读权重。作者承认结果确实有趣，但认为外界解读过度。