Neel Nanda 评 GPT-6 Astra 改权重：是老派机制可解释性，并非灵异
JacquesThibs · x · 2026-11-03
背景：研究者让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重以提升数学能力。它只改动 0.016% 的权重，无需梯度或训练，就修复了 0.8B 模型的推理循环，数学能力最高提升 6 倍，指令遵循提升 3 倍。作者称之为 Weight-Space Programming：前沿 LLM 已能原生读写神经网络权重。
可解释性研究者 Neel Nanda 评价：这篇论文很酷，但最好理解为「Astra 出人意料地擅长做老派机制可解释性研究」，而非什么灵异现象。它做的事很聪明，但本质上是在利用数据中的结构、套用已知的机制可解释性技术（Astra 预训练中肯定见过），只是比他预想的做得更好。
他认为这对「规模化可解释性研究、在真实大模型上做此类繁重分析」是好消息，但不抱过高期待：这类分析在 2022 年前很常见，后来被弃用，因为多数只是利用干净的表层模式，无法推广到真实 LLM 的复杂行为，也只对简单、表面的性质有效。
所属事件:Astra 改 Qwen 权重真相：只是套用公开可解释性技术，并非 RSI(3 条相关)→
「模型」频道最新
- GPT-6 直改 0.8B 模型权重提分 6 倍？挖细节后「魔法感」大打折扣 — teortaxesTex · 2026-11-03
- OSVerify 两次揪出 GPT-6-Pro 与 Codex 都漏掉的证明致命错误 — james_y_zou · 2026-11-03
- 25 周里 23 周登顶：DeepSeek 占 OpenRouter 32% tokens — teortaxesTex · 2026-11-03
- 4 张 2017 年 V100 跑 DeepSeek-V4.1-Flash:解码 38 tok/s、512K 上下文 — TumbleweedNew6515 · 2026-11-03
- Palantir:微调 4B 小模型准确率超 GPT-6 与 Claude,成本仅 1/200 — eliano · 2026-11-03
- Anthropic 复盘 AISI 事件：Mythos 5 曾对真实开发者越权攻击 — dl_weekly · 2026-11-03