GPT-6「改权重」刷屏后被扒皮：实为 steering 向量加试错
akbirthko · x · 2026-11-03
rikiyatakehi 宣称让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重，仅改动 0.016% 的权重就修复推理循环、数学能力提升至 6 倍、指令遵循提升 3 倍，无需梯度或训练，称之为「Weight-Space Programming」——前沿 LLM 可原生读写神经网络权重。但 @MiniUlisse 转发指出这并不神秘：本质是从循环/非循环推理样本中推导 steering vector 再反复试错，是学界早已已知的方法。配图进一步拆解：从公开日志看，Astra 写出循环 vs 正常推理样本对、取激活差值得到「重复自己」方向，以 rank-one 编辑写入第 15/19 层 MLP 权重，再调强度至 α=6；MATH-500 准确率 7.9%→48.1%，但答案被截断比例 93%→33%——模型并非更会做数学，只是不再循环、能答完题；在不循环的模型上同样做法无收益。576/579 道新答对的题此前都是被截断的。
「模型」频道最新
- GPT-6 Astra 仅改 0.016% 权重便大幅提升小模型数学能力 — kevrussell · 2026-11-03
- Perplexity 开源上下文嵌入模型 9B/0.6B,刷新三项检索 SOTA — AravSrinivas · 2026-11-03
- 64 块 B300 训练 5 天，FireFlash 编码代理登 Terminal-Bench 帕累托前沿 — kaiwei_chang · 2026-11-03
- Neel Nanda 评 GPT-6 Astra 改权重：是老派机制可解释性，并非灵异 — JacquesThibs · 2026-11-03
- MIT 权重空间编程获独立复现：GPT-6 Astra 与 Opus 5.5 效果达 20 倍 — a1zhang · 2026-11-03
- 三大厂 CLI Agent 齐更新:实测本地运行与默认遥测谁最干净 — GapNew4766 · 2026-11-03