MIT「权重空间编程」：发布、澄清与质疑

第 1 集 · MIT 研究：LLM 直接改权重，0.8B 模型数学成绩提升 6 倍(2026-11-03,40 条)

MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab 发布「Weight-Space Programming（权重空间编程）」研究：前沿 LLM（GPT-6 Astra）无需额外训练即可原生读取、编写并对神经网络权重进行推理，把原始权重当作可读、可编辑的「代码」，直接诊断失败原因并打补丁修复。多项演示显示该能力初步成立，但仍处早期验证阶段，且相关说法主要来自论文博客与 Reddit 转述，可复现性有待验证。

已确认

• 权重编辑：据 @teortaxesTex 与 @giffmana 转述，GPT-6 Astra 通过 50 次 forward-pass 工具调用、直接编辑 Qwen3.5-0.8B 的权重以提升数学能力，全程无梯度、无训练，仅修改约 0.016% 的参数，MATH-500 成绩从 7.9% 提升至 48.1%（约 6 倍），指令遵循也提升 3 倍。Astra 先观察到 Qwen 陷入推理死循环，再针对性做「权重手术」。
• 识别任务：据 @Marrk 转述，Astra 不借助任何工具、仅查看 17,253 个原始权重数值，即以 99% 置信度判断某策略网络是在 Breakout 上训练的。
• 从零编写网络：在不给环境反馈的条件下，Astra 能从头写出可运行的小型神经网络；据 Reddit 用户转述（@Pyros-SD-Models 等），该网络表现超过 PPO。
• 策略修复演示：据 @bookwormengr 介绍，一个 PPO 训练的赛车策略总在坡道卡住，将权重、场景描述和一条失败轨迹喂给 Astra 后，它一次回复（无工具调用）直接编辑权重修补问题，仅改动约 3.5% 的权重就将成功率拉满。
• @DrSingularity 等多位作者转发该研究并评论称，这可能开辟一条不经过传统训练流程的模型修复/改进路径，是「模型修模型」的新范式。

尚未确认

• @LatentSpaceLeaper 与 @1-800-methdyke 指出，该说法目前主要来自论文博客《Sparks of Weight-Space Programming》及 Reddit、explainx.ai 等转述，来源未获官方证实，可复现性有待验证。

为什么重要

• 传统上修改模型行为需要梯度训练或微调；若 LLM 能直接对权重做「外科手术式」编辑，模型调试、修复和定制可能大幅简化，尤其是 PPO 等强化学习策略的故障修复场景。
• 前沿 LLM 展现出对底层参数的隐式理解能力，暗示其预训练中学到了关于权重结构与功能的知识，对可解释性和模型可控性均有潜在意义。
• 该方向仍处早期，相关帖子多为转发与演示分享，后续效果与可复现性有待更多验证。

• MIT 研究称 LLM 可直接改权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — lateinteraction · 2026-11-03
• 前沿 LLM 被发现能直接读写神经网络权重 — nathanbenaich · 2026-11-03
• MIT CSAIL 论文：GPT-6 裸看权重改 0.016% 参数，MATH-500 从 7.9% 提到 48.1% — viksit · 2026-11-03
• Astra 裸改 Qwen3.5-0.8B 权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — Pyros-SD-Models · 2026-11-03
• GPT-6 Astra 仅改 0.016% 权重，让 0.8B 小模型数学提升 6 倍 — RichmanRonald · 2026-11-03
• GPT-6 直接改写 Qwen 权重:仅动 0.016% 参数数学能力提升至 6 倍 — CSProfKGD · 2026-11-03
• Astra 无工具直接读写神经网络权重，Qwen 0.8B 数学成绩从 7.9% 提到 48.1% — teakhop · 2026-11-03
• GPT-6 直接改权重:仅动 0.016% 参数让 0.8B 模型数学提升 6 倍 — teortaxesTex · 2026-11-03
• LLM 原生读写神经网络权重：0.8B 模型数学成绩 7.9%→48.1% — Marrk · 2026-11-03
• AI 改 AI:仅改 0.016% 权重,Qwen3.5-0.8B 数学成绩从 7.9% 升至 48.1% — teortaxesTex · 2026-11-03
• GPT-6 直改 Qwen3.5 权重 0.016%,数学推理提升至 6 倍 — xuanalogue · 2026-11-03
• 无反向传播改权重：大模型一次回复修补小模型策略，仅动 3.5% 权重成功率拉满 — bookwormengr · 2026-11-03
• GPT-6 直改 Qwen 0.016% 权重：数学提升 6 倍、零梯度零训练 — udmrzn · 2026-11-03
• GPT-6 Astra 直接改写 Qwen 权重：数学能力提升至 6 倍，无需训练 — repligate · 2026-11-03
• 前沿 LLM 可原生读写神经网络权重：判别游戏、零训练写出超 PPO 的策略网络 — RobbinDeBank · 2026-11-03
• MIT 研究者称 GPT-6 Astra 无梯度改 0.016% 权重，Qwen 小模型数学 7.9%→48.1% — troll_khan · 2026-11-03
• 前沿 LLM 被曝能直接读写神经网络权重，改 0.016% 参数让数学成绩翻 6 倍 — LatentSpaceLeaper · 2026-11-03
• Agent 直接改 Qwen3.5-0.8B 权重，MATH-500 从 7.9% 提到 48.1% — giffmana · 2026-11-03
• MIT 团队让 GPT-6 Astra 直改 Qwen 权重：仅动 0.016% 参数，数学成绩 7.9%→48.1% — lateinteraction · 2026-11-03
• "GPT-6 改 0.016% 权重让 0.8B 模型数学提升 6 倍"帖疯传，疑为恶搞 — lateinteraction · 2026-11-03

还有 20 条相关讨论 →

第 2 集 · 研究者澄清 Astra 改权重：套用公开可解释性技术而非 RSI(2026-11-03,3 条)

围绕 GPT-6 Astra 编辑 Qwen3.5-0.8B 权重的研究，多位研究者作出澄清。hosseeb 指出这并非「X 光视手术式改造」或 RSI，而是模型找到了一种已发表的可解释性技术。Neel Nanda 评价这是老派机制可解释性，并非灵异现象。1a3orn 补充该实验遗漏了失败案例：权重编辑之所以有效，是因为 Qwen3.5 本就存在 93% 回答跑满 token 上限的死循环缺陷，而对没有此类缺陷的 Gemma 270m 则无效。

• 补刀分析:Astra 权重手术只对有死循环缺陷的 Qwen 有效,救不了 Gemma 270m — teortaxesTex · 2026-11-03
• Neel Nanda 评 GPT-6 Astra 改权重：是老派机制可解释性，并非灵异 — JacquesThibs · 2026-11-03
• Astra 改 Qwen 权重真相：只是套用公开可解释性技术，并非 RSI — markjeffrey · 2026-11-03

第 3 集 · GPT-6 直改小模型权重引热议，遭扒皮实为转向向量加试错(2026-11-03,2 条)

rikiyatakehi 团队宣称让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重：只改动 0.016% 的权重，无需梯度或训练，就修复了推理循环，数学能力提升至 6 倍，指令遵循也得到改善，引发刷屏讨论。但随后有网友深挖细节并扒皮，认为其本质是 steering 向量加上反复试错，「魔法感」大打折扣。

• GPT-6「改权重」刷屏后被扒皮：实为 steering 向量加试错 — akbirthko · 2026-11-03
• GPT-6 直改 0.8B 模型权重提分 6 倍？挖细节后「魔法感」大打折扣 — teortaxesTex · 2026-11-03

第 4 集 · MIT 权重空间编程结果获独立复现(2026-11-03,2 条)

MIT 博客提出的「权重空间编程」技术获 Alex Krentsel 独立复现，该技术让前沿大模型直接读写神经网络权重，无需梯度训练即可修改模型。复现者还发现，这种能力是仅出现在最新一批模型中的阶跃式涌现能力，在 GPT-6 Astra 与 Opus 5.5 上效果可达 20 倍。

• MIT 权重空间编程获独立复现：GPT-6 Astra 与 Opus 5.5 效果达 20 倍 — a1zhang · 2026-11-03
• 权重空间编程结果获独立复现，最新模型出现阶跃新能力 — basedjensen · 2026-11-03