MIT「权重空间编程」爆火：LLM 直改权重，随后遭拆解质疑

MIT CSAIL 于 11 月 3 日发布论文《Sparks of Weight-Space Programming》（作者 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab），提出「权重空间编程」：让前沿 LLM（GPT-6 Astra）无需梯度训练，直接读取并编辑另一神经网络的权重。论文称 Astra 仅修改 Qwen3.5-0.8B 的 0.016% 参数，就修复其推理死循环，MATH-500 成绩从 7.9% 升至 48.1%（约 6 倍），指令遵循提升 3 倍。结果公布后迅速刷屏并出现复现与质疑的连锁反应，成为一轮典型的传播—反转事件。

已确认

• 论文核心实验：Astra 通过约 50 次 forward-pass 工具调用，定位导致 Qwen3.5-0.8B 推理死循环的权重方向并直接改写，全程无梯度、无训练；修改后模型已由 rikiyatakehi 确认上传至 Hugging Face（RikiyaT/Qwen3.5-0.8B-weight-space…），有网友按公开日志复现测得 MATH-500 约 51 分
• Alex Krentsel（11 月 3 日）宣布独立复现，并补充跨代际对比：以约 500M 步规模的 PPO 强化学习网络为对象，最新一代模型效果显著，更早模型表现平平，他据此判断这是仅出现在最新前沿模型中的新能力
• Simon Willison 于 11 月 4 日在自己笔记本上用 Qwen 3.8 27B 跑了 45 分钟以上，同样实现权重直接解读，说明该能力不限于 GPT-6 Astra 一家
• 另有开发者让 Claude Opus 编辑权重修复 OCR 模型的重复死循环，仅改 0.0085% 权重、花费约 10 美元（预算上限 5 小时与 100 美元 Hugging Face Jobs 算力），全程免训练
• teortaxesTex 在转发中提醒「挖细节后魔法感大打折扣」；hosseeb 作出重要澄清：故事不是「Astra 用 X 光视手术式改造权重」，而是它找到一种已发表的可解释性技术、能解决这类特定失败模式并自行实现——不属于递归自我改进（RSI）

尚未确认

• 「阶跃式涌现能力」的定性仍有争议，@probablybots 认为超网络（hypernetwork）等已有机制或许能解释该现象
• Astra 是否真正「读懂」权重仍待更严格的对照实验验证；具体倍数在不同转述中略有出入，应以论文原始数据为准

为什么重要

若原始结论成立，前沿 LLM 可作为「权重编辑器」直接改造小模型，绕开梯度训练，开辟模型修复、压缩与定制的新路径，Claude 修 OCR 模型的案例已展示其实用潜力。但 hosseeb 等人的澄清同样关键：效果可能来自模型重新实现已知技术，而非某种神秘的权重理解能力。事件从爆火复现到冷静拆解的完整过程，也是观察 AI 资讯传播失真机制的一个典型样本。

2026-11-03 ~ 2026-11-04 · 139 条相关

事件全程(共 4 集)→

• 第 1 集:MIT「权重空间编程」爆火：LLM 直改权重，随后遭拆解质疑(2026-11-03,139 条)
• 第 2 集:LLM 直接编辑模型权重：从技术梳理到自编辑实验构想(2026-11-03,5 条)
• 第 3 集:编辑 0.016% 权重即可破解 Qwen 推理死循环(2026-11-03,2 条)
• 第 4 集:模型自改权重引担忧：或构成递归自我改进循环(2026-11-03,3 条)

• MIT 研究称 LLM 可直接改权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — lateinteraction · 2026-11-03
• 前沿 LLM 被发现能直接读写神经网络权重 — nathanbenaich · 2026-11-03
• MIT CSAIL 论文：GPT-6 裸看权重改 0.016% 参数，MATH-500 从 7.9% 提到 48.1% — viksit · 2026-11-03
• Astra 裸改 Qwen3.5-0.8B 权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — Pyros-SD-Models · 2026-11-03
• GPT-6 Astra 仅改 0.016% 权重，让 0.8B 小模型数学提升 6 倍 — RichmanRonald · 2026-11-03
• yoavgo:基于权重解读网络的实验令人印象深刻,从零写权重反而一般 — yoavgo · 2026-11-03
• Yoav Goldberg 评权重解读实验：编辑偏置即可修复模型，比从零写权重更惊人 — yoavgo · 2026-11-03
• Astra 无工具直接读写神经网络权重，Qwen 0.8B 数学成绩从 7.9% 提到 48.1% — teakhop · 2026-11-03
• AI 单轮直接写出 Breakout 网络权重,成绩达 PPO 训练 20 倍 — xennygrimmato_ · 2026-11-03
• Yoav Goldberg：读懂权重后，手改模型参数只是机械作业 — yoavgo · 2026-11-03
• LLM 原生读写神经网络权重：0.8B 模型数学成绩 7.9%→48.1% — Marrk · 2026-11-03
• AI 改 AI:仅改 0.016% 权重,Qwen3.5-0.8B 数学成绩从 7.9% 升至 48.1% — teortaxesTex · 2026-11-03
• 补刀分析:Astra 权重手术只对有死循环缺陷的 Qwen 有效,救不了 Gemma 270m — teortaxesTex · 2026-11-03
• 无反向传播改权重：大模型一次回复修补小模型策略，仅动 3.5% 权重成功率拉满 — bookwormengr · 2026-11-03
• 前沿 LLM 可原生读写神经网络权重：判别游戏、零训练写出超 PPO 的策略网络 — RobbinDeBank · 2026-11-03
• MIT 研究者称 GPT-6 Astra 无梯度改 0.016% 权重，Qwen 小模型数学 7.9%→48.1% — troll_khan · 2026-11-03
• Qwen 陷入死循环,Astra 用代码消融「循环方向」救活模型 — burny_tech · 2026-11-03
• Agent 直接改 Qwen3.5-0.8B 权重，MATH-500 从 7.9% 提到 48.1% — giffmana · 2026-11-03
• Yoav Goldberg 推测：RL 训练或已纳入修改模型权重的任务 — yoavgo · 2026-11-03
• "GPT-6 改 0.016% 权重让 0.8B 模型数学提升 6 倍"帖疯传，疑为恶搞 — lateinteraction · 2026-11-03
• MIT 报告：LLM 直接改 0.016% 权重，小模型数学成绩提升 6 倍 — Dr_Singularity · 2026-11-03
• 研究者：AI 已开始读取、调试并改写其他神经网络的内部权重 — Dr_Singularity · 2026-11-03
• Qwen 底模 93% 答案跑死循环，某「6 倍提升」疑破基线虚高 — paul_cal · 2026-11-03
• 研究者批「权重空间编程」：Atari 是送答案的选择题，Qwen 案例近乎喂答案 — anshulkundaje · 2026-11-03
• 作者复盘：数学暴涨 6 倍的真因是修掉了推理循环 — anshulkundaje · 2026-11-03
• 声称 GPT-6 Astra 直接编辑 Qwen 权重，MATH-500 从 7.9% 提至 48.1% — 1-800-methdyke · 2026-11-03
• 模型手改另一个模型权重：仅动 0.016% 参数,MATH-500 从 7.9% 升至 48.1% — kevrussell · 2026-11-03
• 64,222 条标注答案审计:模型评测提升数据基本吻合原始发布 — kevrussell · 2026-11-03
• 追查继续:MATH-500 截断错误从 93% 降至 33%,但 400 例中仍有 20 例死循环 — kevrussell · 2026-11-03
• GPT 模型补丁复现：谄媚测试有效，但 MATH-500 准确率仍从 93% 跌至 33% — kevrussell · 2026-11-03
• MIT CSAIL 让 GPT-6 手改权重,仅改 0.016% 参数令小模型数学成绩暴涨 — kevrussell · 2026-11-03
• GPT-6「改权重」刷屏后被扒皮：实为 steering 向量加试错 — akbirthko · 2026-11-03
• 用前沿模型直接改小模型权重:0.016% 参数让 0.8B 数学能力提升 6 倍 — teortaxesTex · 2026-11-03
• MIT 权重空间编程获独立复现：GPT-6 Astra 与 Opus 5.5 效果达 20 倍 — a1zhang · 2026-11-03
• Neel Nanda 评 GPT-6 Astra 改权重：是老派机制可解释性，并非灵异 — JacquesThibs · 2026-11-03
• GPT-6 Astra 仅改 0.016% 权重便大幅提升小模型数学能力 — kevrussell · 2026-11-03
• Yoav Goldberg 泼冷水：Astra 改模型权重多是已知可解释性技术 — yoavgo · 2026-11-03
• 【源头】Astra 改 Qwen 权重真相：只是套用公开可解释性技术，并非 RSI — markjeffrey · 2026-11-03

另有 12 条近重复转述:CSProfKGD · teortaxesTex · xuanalogue · udmrzn · repligate · LatentSpaceLeaper · lateinteraction · neal_lathia · sebkrier · SergioPaniego · lateinteraction · lateinteraction