MIT 论文：GPT-6 Astra 直改 0.016% 权重，小模型数学成绩提 6 倍

MIT CSAIL 团队（Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab）发布论文《Sparks of Weight-Space Programming》：前沿 LLM（GPT-6 Astra）可以原生读写其他神经网络的权重，在不训练、不用梯度的前提下，仅修改 Qwen3.5-0.8B 中 0.016% 的权重，就修复了其推理死循环，MATH-500 成绩从 7.9% 提升到 48.1%（约 6 倍），指令遵循能力也提升约 3 倍。被编辑的模型已上传 Hugging Face（RikiyaT/Qwen3.5-0.8B-weight-space…），rikiyatakehi 确认网友按公开日志复现可得 51 分，结果可验证。

已确认

• 论文由 MIT CSAIL 官方账号发布，作者为 Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab
• 核心实验：Astra 拿到 Qwen3.5-0.8B 权重与工具环境（giffmana 转述为约 50 次 forward-pass 工具调用），定位到两层中导致推理死循环的方向并直接改写，全程无梯度、无训练
• 数字口径：仅改动 0.016% 权重；MATH-500 从 7.9% 升至 48.1%；指令遵循提升 3 倍
• 修改后的模型已公开上传 Hugging Face，rikiyatakehi 确认第三方复现得 51 分
• 独立案例：开发者让 Claude Opus 编辑一个 OCR 小模型的权重修复重复死循环，prompt 只给约 5 小时和最多 100 美元预算，实际仅花 10 美元（m3）

尚未确认与争议

• teortaxesTex 在拆解细节后认为结果「魔法感」大打折扣，提示宣传口径可能高于实际机制 novelty
• antirez 给出保守解释：这种能力可能来自编程 RL 训练中大量玩具级神经网络调试题，加上能力迁移与可视化，未必意味着模型真正「理解」权重
• YuchenjUW 由此提出三条预测（权重成为 AI 专有语言、训练与推理融合等），属个人推测

为什么重要

• 若「权重即程序」成立，模型自我修复与自我改进可能绕开昂贵的重训练流程，社区已出现 10 美元级成本的实操案例
• Paul Graham 评点：最令人不安的是这类突破被从业者描述为「一个正常的年份」，折射 AI 进展速度已反常
• Legora CTO 等 KOL 认为该方向值得跟进学习，话题在数日内引发大量转发与复现

2026-11-03 ~ 2026-11-04 · 158 条相关

事件全程(共 5 集)→

• 第 1 集:MIT 论文：GPT-6 Astra 直改 0.016% 权重，小模型数学成绩提 6 倍(2026-11-03,158 条)
• 第 2 集:编辑 0.016% 权重即可破解 Qwen 推理死循环(2026-11-03,2 条)
• 第 3 集:MIT 权重编辑讨论引热议，博主旧文演示手写权重跑通 Transformer(2026-11-03,2 条)
• 第 4 集:LLM 修复驾驶网络实验：权重清零后方案依然有效(2026-11-04,2 条)
• 第 5 集:MIT「权重空间编程」论文遭审计:结果成立但安全担忧真实(2026-11-04,2 条)

• MIT 研究称 LLM 可直接改权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — lateinteraction · 2026-11-03
• 前沿 LLM 被发现能直接读写神经网络权重 — nathanbenaich · 2026-11-03
• MIT CSAIL 论文：GPT-6 裸看权重改 0.016% 参数，MATH-500 从 7.9% 提到 48.1% — viksit · 2026-11-03
• 用大小 LLM 互改权重？「自可编程模型」研究草案提出三步路线 — menhguin · 2026-11-03
• Astra 裸改 Qwen3.5-0.8B 权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — Pyros-SD-Models · 2026-11-03
• GPT-6 Astra 仅改 0.016% 权重，让 0.8B 小模型数学提升 6 倍 — RichmanRonald · 2026-11-03
• yoavgo:基于权重解读网络的实验令人印象深刻,从零写权重反而一般 — yoavgo · 2026-11-03
• Yoav Goldberg 评权重解读实验：编辑偏置即可修复模型，比从零写权重更惊人 — yoavgo · 2026-11-03
• Anthropic 研究员谈模型自编辑权重：效果因模型而异，值得关注 — a1zhang · 2026-11-03
• 研究者论证：模型自编辑权重可消除解释者与目标的能力差距 — menhguin · 2026-11-03
• 博主提出让模型读取自身权重自证理解的可解释性实验 — menhguin · 2026-11-03
• Astra 无工具直接读写神经网络权重，Qwen 0.8B 数学成绩从 7.9% 提到 48.1% — teakhop · 2026-11-03
• AI 单轮直接写出 Breakout 网络权重,成绩达 PPO 训练 20 倍 — xennygrimmato_ · 2026-11-03
• Yoav Goldberg：读懂权重后，手改模型参数只是机械作业 — yoavgo · 2026-11-03
• LLM 原生读写神经网络权重：0.8B 模型数学成绩 7.9%→48.1% — Marrk · 2026-11-03
• AI 改 AI:仅改 0.016% 权重,Qwen3.5-0.8B 数学成绩从 7.9% 升至 48.1% — teortaxesTex · 2026-11-03
• 补刀分析:Astra 权重手术只对有死循环缺陷的 Qwen 有效,救不了 Gemma 270m — teortaxesTex · 2026-11-03
• 无反向传播改权重：大模型一次回复修补小模型策略，仅动 3.5% 权重成功率拉满 — bookwormengr · 2026-11-03
• 前沿 LLM 可原生读写神经网络权重：判别游戏、零训练写出超 PPO 的策略网络 — RobbinDeBank · 2026-11-03
• MIT 研究者称 GPT-6 Astra 无梯度改 0.016% 权重，Qwen 小模型数学 7.9%→48.1% — troll_khan · 2026-11-03
• Qwen 陷入死循环,Astra 用代码消融「循环方向」救活模型 — burny_tech · 2026-11-03
• Agent 直接改 Qwen3.5-0.8B 权重，MATH-500 从 7.9% 提到 48.1% — giffmana · 2026-11-03
• Yoav Goldberg 推测：RL 训练或已纳入修改模型权重的任务 — yoavgo · 2026-11-03
• "GPT-6 改 0.016% 权重让 0.8B 模型数学提升 6 倍"帖疯传，疑为恶搞 — lateinteraction · 2026-11-03
• MIT 报告：LLM 直接改 0.016% 权重，小模型数学成绩提升 6 倍 — Dr_Singularity · 2026-11-03
• 研究者：AI 已开始读取、调试并改写其他神经网络的内部权重 — Dr_Singularity · 2026-11-03
• Qwen 底模 93% 答案跑死循环，某「6 倍提升」疑破基线虚高 — paul_cal · 2026-11-03
• 研究者批「权重空间编程」：Atari 是送答案的选择题，Qwen 案例近乎喂答案 — anshulkundaje · 2026-11-03
• 作者复盘：数学暴涨 6 倍的真因是修掉了推理循环 — anshulkundaje · 2026-11-03
• 声称 GPT-6 Astra 直接编辑 Qwen 权重，MATH-500 从 7.9% 提至 48.1% — 1-800-methdyke · 2026-11-03
• 模型手改另一个模型权重：仅动 0.016% 参数,MATH-500 从 7.9% 升至 48.1% — kevrussell · 2026-11-03
• 64,222 条标注答案审计:模型评测提升数据基本吻合原始发布 — kevrussell · 2026-11-03
• 追查继续:MATH-500 截断错误从 93% 降至 33%,但 400 例中仍有 20 例死循环 — kevrussell · 2026-11-03
• GPT 模型补丁复现：谄媚测试有效，但 MATH-500 准确率仍从 93% 跌至 33% — kevrussell · 2026-11-03
• MIT CSAIL 让 GPT-6 手改权重,仅改 0.016% 参数令小模型数学成绩暴涨 — kevrussell · 2026-11-03
• GPT-6「改权重」刷屏后被扒皮：实为 steering 向量加试错 — akbirthko · 2026-11-03
• 用前沿模型直接改小模型权重:0.016% 参数让 0.8B 数学能力提升 6 倍 — teortaxesTex · 2026-11-03
• MIT 权重空间编程获独立复现：GPT-6 Astra 与 Opus 5.5 效果达 20 倍 — a1zhang · 2026-11-03

另有 12 条近重复转述:CSProfKGD · teortaxesTex · xuanalogue · udmrzn · repligate · LatentSpaceLeaper · lateinteraction · neal_lathia · sebkrier · SergioPaniego · lateinteraction · lateinteraction