MIT 权重编程论文：从发布到复现与审计

第 1 集 · MIT 论文：GPT-6 Astra 直改 0.016% 权重，小模型数学成绩提 6 倍(2026-11-03,158 条)

MIT CSAIL 团队（Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab）发布论文《Sparks of Weight-Space Programming》：前沿 LLM（GPT-6 Astra）可以原生读写其他神经网络的权重，在不训练、不用梯度的前提下，仅修改 Qwen3.5-0.8B 中 0.016% 的权重，就修复了其推理死循环，MATH-500 成绩从 7.9% 提升到 48.1%（约 6 倍），指令遵循能力也提升约 3 倍。被编辑的模型已上传 Hugging Face（RikiyaT/Qwen3.5-0.8B-weight-space…），rikiyatakehi 确认网友按公开日志复现可得 51 分，结果可验证。

已确认

• 论文由 MIT CSAIL 官方账号发布，作者为 Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab
• 核心实验：Astra 拿到 Qwen3.5-0.8B 权重与工具环境（giffmana 转述为约 50 次 forward-pass 工具调用），定位到两层中导致推理死循环的方向并直接改写，全程无梯度、无训练
• 数字口径：仅改动 0.016% 权重；MATH-500 从 7.9% 升至 48.1%；指令遵循提升 3 倍
• 修改后的模型已公开上传 Hugging Face，rikiyatakehi 确认第三方复现得 51 分
• 独立案例：开发者让 Claude Opus 编辑一个 OCR 小模型的权重修复重复死循环，prompt 只给约 5 小时和最多 100 美元预算，实际仅花 10 美元（m3）

尚未确认与争议

• teortaxesTex 在拆解细节后认为结果「魔法感」大打折扣，提示宣传口径可能高于实际机制 novelty
• antirez 给出保守解释：这种能力可能来自编程 RL 训练中大量玩具级神经网络调试题，加上能力迁移与可视化，未必意味着模型真正「理解」权重
• YuchenjUW 由此提出三条预测（权重成为 AI 专有语言、训练与推理融合等），属个人推测

为什么重要

• 若「权重即程序」成立，模型自我修复与自我改进可能绕开昂贵的重训练流程，社区已出现 10 美元级成本的实操案例
• Paul Graham 评点：最令人不安的是这类突破被从业者描述为「一个正常的年份」，折射 AI 进展速度已反常
• Legora CTO 等 KOL 认为该方向值得跟进学习，话题在数日内引发大量转发与复现

• MIT 研究称 LLM 可直接改权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — lateinteraction · 2026-11-03
• 前沿 LLM 被发现能直接读写神经网络权重 — nathanbenaich · 2026-11-03
• MIT CSAIL 论文：GPT-6 裸看权重改 0.016% 参数，MATH-500 从 7.9% 提到 48.1% — viksit · 2026-11-03
• 用大小 LLM 互改权重？「自可编程模型」研究草案提出三步路线 — menhguin · 2026-11-03
• Astra 裸改 Qwen3.5-0.8B 权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — Pyros-SD-Models · 2026-11-03
• GPT-6 Astra 仅改 0.016% 权重，让 0.8B 小模型数学提升 6 倍 — RichmanRonald · 2026-11-03
• yoavgo:基于权重解读网络的实验令人印象深刻,从零写权重反而一般 — yoavgo · 2026-11-03
• Yoav Goldberg 评权重解读实验：编辑偏置即可修复模型，比从零写权重更惊人 — yoavgo · 2026-11-03
• Anthropic 研究员谈模型自编辑权重：效果因模型而异，值得关注 — a1zhang · 2026-11-03
• GPT-6 直接改写 Qwen 权重:仅动 0.016% 参数数学能力提升至 6 倍 — CSProfKGD · 2026-11-03
• 研究者论证：模型自编辑权重可消除解释者与目标的能力差距 — menhguin · 2026-11-03
• 博主提出让模型读取自身权重自证理解的可解释性实验 — menhguin · 2026-11-03
• Astra 无工具直接读写神经网络权重，Qwen 0.8B 数学成绩从 7.9% 提到 48.1% — teakhop · 2026-11-03
• AI 单轮直接写出 Breakout 网络权重,成绩达 PPO 训练 20 倍 — xennygrimmato_ · 2026-11-03
• GPT-6 直接改权重:仅动 0.016% 参数让 0.8B 模型数学提升 6 倍 — teortaxesTex · 2026-11-03
• Yoav Goldberg：读懂权重后，手改模型参数只是机械作业 — yoavgo · 2026-11-03
• LLM 原生读写神经网络权重：0.8B 模型数学成绩 7.9%→48.1% — Marrk · 2026-11-03
• AI 改 AI:仅改 0.016% 权重,Qwen3.5-0.8B 数学成绩从 7.9% 升至 48.1% — teortaxesTex · 2026-11-03
• 补刀分析:Astra 权重手术只对有死循环缺陷的 Qwen 有效,救不了 Gemma 270m — teortaxesTex · 2026-11-03
• GPT-6 直改 Qwen3.5 权重 0.016%,数学推理提升至 6 倍 — xuanalogue · 2026-11-03

还有 138 条相关讨论 →

第 2 集 · 编辑 0.016% 权重即可破解 Qwen 推理死循环(2026-11-03,2 条)

Reddit 一位研究者用 Jacobian lens 可解释性工具观察 Qwen3.5-0.8B 的「Wait」推理死循环现象，并复现了 MIT CSAIL 的权重编辑修复方案。通过对比循环推理与正常轨迹的激活，找到区分两者的方向，再在两个 MLP 层中编辑约 13.1 万个权重（仅占 0.016%）加以对抗，使 MATH-500 准确率从 7.9% 大幅升至 48.1%。

• 直接改 13.1 万个权重：研究者用激活定向修复模型循环推理 — xennygrimmato_ · 2026-11-03
• 编辑 0.016% 权重根治 Qwen 推理死循环，MATH-500 从 7.9% 升至 48.1% — DeliciousGorilla · 2026-11-03

第 3 集 · MIT 权重编辑讨论引热议，博主旧文演示手写权重跑通 Transformer(2026-11-03,2 条)

MIT 关于 Astra 具备权重编辑能力的讨论近日引发关注，博主 voooooogel 随之重提自己 2023 年的旧文：不依赖训练和预训练权重，亲手为一个 GPT-2 风格的 decoder 逐个赋值参数，从零构建出能完成序列预测的 Transformer。该文为对权重编辑感兴趣的读者提供了可动手实践的入门参考，也在社交平台上获得重新传播。

• 不训练手写权重造 Transformer：博主逐个赋值跑通序列预测 — voooooogel · 2026-11-03
• 2023 年旧文重提：从零手改权重做序列预测 Transformer — voooooogel · 2026-11-03

第 4 集 · LLM 修复驾驶网络实验：权重清零后方案依然有效(2026-11-04,2 条)

一项实验显示，作者让 Claude Opus 5.5 和 GPT-6 Astra 修复一个经过训练的小型自动驾驶网络，使车辆能到达目标。关键发现是：所有有效修复方案在把训练权重清零后仍然有效，说明模型并非简单修补原有参数，而是写出了不依赖训练权重的控制器逻辑。实验中模型自写控制器以 5/5 的成绩胜出。

• LLM 修好驾驶网络后权重归零仍有效：模型自写控制器 5/5 胜出 — kevrussell · 2026-11-04
• 同一实验背景：Claude 与 GPT 被要求修复小型训练驾驶网络 — kevrussell · 2026-11-04

第 5 集 · MIT「权重空间编程」论文遭审计:结果成立但安全担忧真实(2026-11-04,2 条)

MIT CSAIL 发布论文《Sparks of Weight-Space Programming》,声称 GPT-6 Astra 可读取原始权重并手工编辑另一个模型(如 Qwen3.5-0.8B)的参数。前 OpenAI 研究员 Solomon Mg 对论文进行审计分析,认为其核心结果成立,并未实现递归自我改进(RSI),但其中反映的安全担忧是真实存在的,论文仍有一些存疑之处。

• MIT CSAIL「模型手改权重」论文遭第三方审计:核心结果成立但存疑点 — kevrussell · 2026-11-04
• 前OpenAI研究员审计Weight-Space编程论文:非RSI但安全担忧真实 — RichmanRonald · 2026-11-04