MIT 权重空间编程：从爆火到遭证伪一天内反转

第 1 集 · MIT「权重空间编程」爆火：LLM 直改权重，随后遭拆解质疑(2026-11-03,139 条)

MIT CSAIL 于 11 月 3 日发布论文《Sparks of Weight-Space Programming》（作者 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab），提出「权重空间编程」：让前沿 LLM（GPT-6 Astra）无需梯度训练，直接读取并编辑另一神经网络的权重。论文称 Astra 仅修改 Qwen3.5-0.8B 的 0.016% 参数，就修复其推理死循环，MATH-500 成绩从 7.9% 升至 48.1%（约 6 倍），指令遵循提升 3 倍。结果公布后迅速刷屏并出现复现与质疑的连锁反应，成为一轮典型的传播—反转事件。

已确认

• 论文核心实验：Astra 通过约 50 次 forward-pass 工具调用，定位导致 Qwen3.5-0.8B 推理死循环的权重方向并直接改写，全程无梯度、无训练；修改后模型已由 rikiyatakehi 确认上传至 Hugging Face（RikiyaT/Qwen3.5-0.8B-weight-space…），有网友按公开日志复现测得 MATH-500 约 51 分
• Alex Krentsel（11 月 3 日）宣布独立复现，并补充跨代际对比：以约 500M 步规模的 PPO 强化学习网络为对象，最新一代模型效果显著，更早模型表现平平，他据此判断这是仅出现在最新前沿模型中的新能力
• Simon Willison 于 11 月 4 日在自己笔记本上用 Qwen 3.8 27B 跑了 45 分钟以上，同样实现权重直接解读，说明该能力不限于 GPT-6 Astra 一家
• 另有开发者让 Claude Opus 编辑权重修复 OCR 模型的重复死循环，仅改 0.0085% 权重、花费约 10 美元（预算上限 5 小时与 100 美元 Hugging Face Jobs 算力），全程免训练
• teortaxesTex 在转发中提醒「挖细节后魔法感大打折扣」；hosseeb 作出重要澄清：故事不是「Astra 用 X 光视手术式改造权重」，而是它找到一种已发表的可解释性技术、能解决这类特定失败模式并自行实现——不属于递归自我改进（RSI）

尚未确认

• 「阶跃式涌现能力」的定性仍有争议，@probablybots 认为超网络（hypernetwork）等已有机制或许能解释该现象
• Astra 是否真正「读懂」权重仍待更严格的对照实验验证；具体倍数在不同转述中略有出入，应以论文原始数据为准

为什么重要

若原始结论成立，前沿 LLM 可作为「权重编辑器」直接改造小模型，绕开梯度训练，开辟模型修复、压缩与定制的新路径，Claude 修 OCR 模型的案例已展示其实用潜力。但 hosseeb 等人的澄清同样关键：效果可能来自模型重新实现已知技术，而非某种神秘的权重理解能力。事件从爆火复现到冷静拆解的完整过程，也是观察 AI 资讯传播失真机制的一个典型样本。

• MIT 研究称 LLM 可直接改权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — lateinteraction · 2026-11-03
• 前沿 LLM 被发现能直接读写神经网络权重 — nathanbenaich · 2026-11-03
• MIT CSAIL 论文：GPT-6 裸看权重改 0.016% 参数，MATH-500 从 7.9% 提到 48.1% — viksit · 2026-11-03
• Astra 裸改 Qwen3.5-0.8B 权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — Pyros-SD-Models · 2026-11-03
• GPT-6 Astra 仅改 0.016% 权重，让 0.8B 小模型数学提升 6 倍 — RichmanRonald · 2026-11-03
• yoavgo:基于权重解读网络的实验令人印象深刻,从零写权重反而一般 — yoavgo · 2026-11-03
• Yoav Goldberg 评权重解读实验：编辑偏置即可修复模型，比从零写权重更惊人 — yoavgo · 2026-11-03
• GPT-6 直接改写 Qwen 权重:仅动 0.016% 参数数学能力提升至 6 倍 — CSProfKGD · 2026-11-03
• Astra 无工具直接读写神经网络权重，Qwen 0.8B 数学成绩从 7.9% 提到 48.1% — teakhop · 2026-11-03
• AI 单轮直接写出 Breakout 网络权重,成绩达 PPO 训练 20 倍 — xennygrimmato_ · 2026-11-03
• GPT-6 直接改权重:仅动 0.016% 参数让 0.8B 模型数学提升 6 倍 — teortaxesTex · 2026-11-03
• Yoav Goldberg：读懂权重后，手改模型参数只是机械作业 — yoavgo · 2026-11-03
• LLM 原生读写神经网络权重：0.8B 模型数学成绩 7.9%→48.1% — Marrk · 2026-11-03
• AI 改 AI:仅改 0.016% 权重,Qwen3.5-0.8B 数学成绩从 7.9% 升至 48.1% — teortaxesTex · 2026-11-03
• 补刀分析:Astra 权重手术只对有死循环缺陷的 Qwen 有效,救不了 Gemma 270m — teortaxesTex · 2026-11-03
• GPT-6 直改 Qwen3.5 权重 0.016%,数学推理提升至 6 倍 — xuanalogue · 2026-11-03
• 无反向传播改权重：大模型一次回复修补小模型策略，仅动 3.5% 权重成功率拉满 — bookwormengr · 2026-11-03
• GPT-6 直改 Qwen 0.016% 权重：数学提升 6 倍、零梯度零训练 — udmrzn · 2026-11-03
• GPT-6 Astra 直接改写 Qwen 权重：数学能力提升至 6 倍，无需训练 — repligate · 2026-11-03
• 前沿 LLM 可原生读写神经网络权重：判别游戏、零训练写出超 PPO 的策略网络 — RobbinDeBank · 2026-11-03

还有 119 条相关讨论 →

第 2 集 · LLM 直接编辑模型权重：从技术梳理到自编辑实验构想(2026-11-03,5 条)

「让 LLM 直接读取并修改模型权重」成为近期社区讨论热点。博主 ycao 发文梳理了 weight editing / model editing 这一新兴方向的最新进展，包括主流方法路径与已有实验结果；多位研究者随后围绕可行性与价值展开讨论。当前尚无定论，但方向被认为值得关注。

已确认

• 博主 ycano/ycao 发布技术博客，系统梳理 LLM 编辑神经网络权重的相关研究与实验结果
• Anthropic 研究员 Astra 曾在 Qwen 上做权重编辑实验并写入博客；其回应网友称，Astra 所用技巧在既有可解释性文献中已被尝试过
• 该研究员还尝试过其他模型（未写入博客），效果因模型而异；团队未显式测试开源模型自编辑，但认为 100% 值得做

尚未确认

• menhguin 的「自可编程模型」三步构想尚属研究草案：利用专家稀疏性提升权重单义性等，仅为猜想，无实验结果
• 是否存在适合做权重编辑者的「最优中间规模」模型，目前只有推测

为什么重要

• menhguin 指出模型自编辑的核心吸引力：目标模型与解释模型在同一参数上经历同种前向/反向传播，理论上大幅减少混淆变量空间，且用目标模型自身做解释者可消除解释者与目标之间的能力差距；他主张解释模型必须看到完整前向/反向传播，因此也在研究优化器和反向传播
• 他还提出更激进的可解释性实验：让开源模型查看自己的权重与激活值，对比 post-training 前后的差异，甚至猜测自己的输出 token——若能做到，将以难以伪造的方式证明模型理解了自身
• @NinjaOk2970 等用户对相关博客的转发扩散，显示该方向已引起较广泛关注

• 用大小 LLM 互改权重？「自可编程模型」研究草案提出三步路线 — menhguin · 2026-11-03
• Anthropic 研究员谈模型自编辑权重：效果因模型而异，值得关注 — a1zhang · 2026-11-03
• 研究者论证：模型自编辑权重可消除解释者与目标的能力差距 — menhguin · 2026-11-03
• 博主提出让模型读取自身权重自证理解的可解释性实验 — menhguin · 2026-11-03
• 让 LLM 直接改写模型权重:一篇梳理最新进展的技术博客 — NinjaOk2970 · 2026-11-03

第 3 集 · 编辑 0.016% 权重即可破解 Qwen 推理死循环(2026-11-03,2 条)

Reddit 一位研究者用 Jacobian lens 可解释性工具观察 Qwen3.5-0.8B 的「Wait」推理死循环现象，并复现了 MIT CSAIL 的权重编辑修复方案。通过对比循环推理与正常轨迹的激活，找到区分两者的方向，再在两个 MLP 层中编辑约 13.1 万个权重（仅占 0.016%）加以对抗，使 MATH-500 准确率从 7.9% 大幅升至 48.1%。

• 直接改 13.1 万个权重：研究者用激活定向修复模型循环推理 — xennygrimmato_ · 2026-11-03
• 编辑 0.016% 权重根治 Qwen 推理死循环，MATH-500 从 7.9% 升至 48.1% — DeliciousGorilla · 2026-11-03

第 4 集 · 模型自改权重引担忧：或构成递归自我改进循环(2026-11-03,3 条)

围绕 LLM 直接编辑权重的技术，业界出现激烈讨论。Paul Graham 表示最可怕的是这类突破竟被描述为「正常的一年」，暗指 AI 进步速度已快到反常。rickasaurus 则警告权重编辑像又一层俄罗斯套娃式的潘多拉魔盒，质疑如何验证模型到底改了什么；他进一步指出，若模型能通过编辑自身权重变得更擅长编辑权重，就构成了一个极紧凑的 RSI（递归自我改进）循环。

• Paul Graham 谈模型改权重：最可怕的是这被称作「正常的一年」 — paulg · 2026-11-03
• 权重编辑是 LLM 的又一层套娃：自改权重或催生自我迭代循环 — rickasaurus · 2026-11-03
• 模型若能改权重让它更擅长改权重，就是一个极紧的 RSI 循环 — rickasaurus · 2026-11-03