MIT：LLM 直接改写模型权重，0.016% 参数令数学成绩提升 6 倍

MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab 发布「Weight-Space Programming（权重空间编程）」研究（论文博客《Sparks of Weight-Space Programming》）：前沿 LLM（GPT-6 Astra）无需额外训练即可原生读取、编写并对神经网络权重进行推理，把原始权重当作可读、可编辑的「代码」，直接诊断失败原因并打补丁修复。多项演示显示该能力初步成立，但 hosheeb、Yoav Goldberg 等研究者提出质疑与澄清，可复现性有待独立验证。

已确认

• 权重编辑：据 @teortaxesTex、@giffmana、@yacineMTB、@arpitbhayani 等转述，GPT-6 Astra 通过 50 次 forward-pass 工具调用、直接编辑 Qwen3.5-0.8B 的权重以提升数学能力，全程无梯度、无训练，仅修改约 0.016% 的参数，MATH-500 成绩从 7.9% 提升至 48.1%（约 6 倍），指令遵循也提升 3 倍。Astra 先观察到 Qwen 陷入推理死循环，再针对性做「权重手术」。
• 识别任务：据 @TheTuringPost 转述，Astra 不借助任何工具、仅查看 17,253 个原始权重数值，即以 99% 置信度判断某策略网络是在 Breakout 上训练的。
• 从零编写网络：在不给环境反馈的条件下，Astra 能从头写出可运行的小型神经网络；据 Reddit 用户转述，该网络表现超过 PPO。
• 策略修复演示：一个 PPO 训练的赛车策略总在坡道卡住，将权重、场景描述和一条失败轨迹喂给 Astra 后，它一次回复（无工具调用）直接编辑权重修补问题，仅改动约 3.5% 的权重就将成功率拉满。
• @DrSingularity、@TheTuringPost、@KyeGomezB、@rohanpaulai 等多位作者转发并评论称，AI 已开始读取、调试并改写其他神经网络的内部权重，这可能开辟一条不经过传统训练流程的模型修复/改进路径，是「模型修模型」的新范式。@TheTuringPost 称相关帖子已获百万级浏览。

尚未确认

• 该结论目前主要来自论文博客及 Reddit、explainx.ai 等转述，本批 96 条帖子绝大多数为对同一结果的转发与复述，新增信息量有限，可复现性有待独立验证。另据 @nathanborror 转述提示，GPT-6 Astra 是「据称的下一代前沿模型」，其具体身份与获取方式未获官方说明。
• @markjeffrey 转发 hosheeb 的澄清（@teortaxesTex 亦转发并称挖细节后「魔法感」大打折扣）：这并非「Astra 用 X 光视手术改造同伴权重」或 RSI，而是它找到并自行实现了一种已发表的、恰好能解决这类失败模式的可解释性技术。
• @yoavgo（Yoav Goldberg）提出怀疑式解读：若模型能完成这类任务，更多说明训练数据里包含过此类任务，暴露的是训练集的范围与类型，而非超人类天赋。他进一步区分：从权重反推网络功能令人印象深刻，但「从零手写权重」并不惊艳——他本人就有让学生考试手写网络权重的经验。

为什么重要

• 传统上修改模型行为需要梯度训练或微调；若 LLM 能直接对权重做「外科手术式」编辑，模型调试、修复和定制可能大幅简化，尤其是 PPO 等强化学习策略的故障修复场景。
• 前沿 LLM 展现出对底层参数的隐式理解能力，暗示其预训练中学到了关于权重结构与功能的知识，对可解释性和模型可控性均有潜在意义。
• 但 hosheeb 与 Goldberg 等人的澄清提示，实验效果可能来自模型对已有可解释性技术或训练数据中类似任务的复用，其实际新颖性与通用性需要独立验证；该方向仍处早期，后续效果与可复现性有待更多独立验证。

2026-11-03 ~ 2026-11-04 · 100 条相关

事件全程(共 9 集)→

• 第 1 集:MIT：LLM 直接改写模型权重，0.016% 参数令数学成绩提升 6 倍(2026-11-03,100 条)
• 第 2 集:LLM 直接编辑模型权重：从技术梳理到自编辑实验构想(2026-11-03,5 条)
• 第 3 集:编辑 0.016% 权重即可破解 Qwen 推理死循环(2026-11-03,2 条)
• 第 4 集:模型评测数据审计续：整体提升成立，MATH-500 截断错误仍存疑(2026-11-03,3 条)
• 第 5 集:MIT 权重空间编程获独立复现，新模型效果暴增 20 倍(2026-11-03,7 条)
• 第 6 集:模型自改权重引担忧：或构成递归自我改进循环(2026-11-03,3 条)
• 第 7 集:GPT-6 改权重大幅提升小模型遭打脸：实为思考模式消融(2026-11-03,2 条)
• 第 8 集:「Astra 可读写 Qwen 权重自改进」爆火后遭专家逐条辟谣(2026-11-03,3 条)
• 第 9 集:Simon Willison 复现模型权重解读实验(2026-11-04,2 条)

• MIT 研究称 LLM 可直接改权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — lateinteraction · 2026-11-03
• 前沿 LLM 被发现能直接读写神经网络权重 — nathanbenaich · 2026-11-03
• MIT CSAIL 论文：GPT-6 裸看权重改 0.016% 参数，MATH-500 从 7.9% 提到 48.1% — viksit · 2026-11-03
• Astra 裸改 Qwen3.5-0.8B 权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — Pyros-SD-Models · 2026-11-03
• GPT-6 Astra 仅改 0.016% 权重，让 0.8B 小模型数学提升 6 倍 — RichmanRonald · 2026-11-03
• yoavgo:基于权重解读网络的实验令人印象深刻,从零写权重反而一般 — yoavgo · 2026-11-03
• Yoav Goldberg 评权重解读实验：编辑偏置即可修复模型，比从零写权重更惊人 — yoavgo · 2026-11-03
• Astra 无工具直接读写神经网络权重，Qwen 0.8B 数学成绩从 7.9% 提到 48.1% — teakhop · 2026-11-03
• Yoav Goldberg：读懂权重后，手改模型参数只是机械作业 — yoavgo · 2026-11-03
• LLM 原生读写神经网络权重：0.8B 模型数学成绩 7.9%→48.1% — Marrk · 2026-11-03
• AI 改 AI:仅改 0.016% 权重,Qwen3.5-0.8B 数学成绩从 7.9% 升至 48.1% — teortaxesTex · 2026-11-03
• 补刀分析:Astra 权重手术只对有死循环缺陷的 Qwen 有效,救不了 Gemma 270m — teortaxesTex · 2026-11-03
• 无反向传播改权重：大模型一次回复修补小模型策略，仅动 3.5% 权重成功率拉满 — bookwormengr · 2026-11-03
• 前沿 LLM 可原生读写神经网络权重：判别游戏、零训练写出超 PPO 的策略网络 — RobbinDeBank · 2026-11-03
• MIT 研究者称 GPT-6 Astra 无梯度改 0.016% 权重，Qwen 小模型数学 7.9%→48.1% — troll_khan · 2026-11-03
• Qwen 陷入死循环,Astra 用代码消融「循环方向」救活模型 — burny_tech · 2026-11-03
• Agent 直接改 Qwen3.5-0.8B 权重，MATH-500 从 7.9% 提到 48.1% — giffmana · 2026-11-03
• Yoav Goldberg 推测：RL 训练或已纳入修改模型权重的任务 — yoavgo · 2026-11-03
• "GPT-6 改 0.016% 权重让 0.8B 模型数学提升 6 倍"帖疯传，疑为恶搞 — lateinteraction · 2026-11-03
• MIT 报告：LLM 直接改 0.016% 权重，小模型数学成绩提升 6 倍 — Dr_Singularity · 2026-11-03
• 研究者：AI 已开始读取、调试并改写其他神经网络的内部权重 — Dr_Singularity · 2026-11-03
• Qwen 底模 93% 答案跑死循环，某「6 倍提升」疑破基线虚高 — paul_cal · 2026-11-03
• 研究者批「权重空间编程」：Atari 是送答案的选择题，Qwen 案例近乎喂答案 — anshulkundaje · 2026-11-03
• 作者复盘：数学暴涨 6 倍的真因是修掉了推理循环 — anshulkundaje · 2026-11-03
• 声称 GPT-6 Astra 直接编辑 Qwen 权重，MATH-500 从 7.9% 提至 48.1% — 1-800-methdyke · 2026-11-03
• 模型手改另一个模型权重：仅动 0.016% 参数,MATH-500 从 7.9% 升至 48.1% — kevrussell · 2026-11-03
• MIT CSAIL 让 GPT-6 手改权重,仅改 0.016% 参数令小模型数学成绩暴涨 — kevrussell · 2026-11-03
• GPT-6「改权重」刷屏后被扒皮：实为 steering 向量加试错 — akbirthko · 2026-11-03
• 用前沿模型直接改小模型权重:0.016% 参数让 0.8B 数学能力提升 6 倍 — teortaxesTex · 2026-11-03
• Neel Nanda 评 GPT-6 Astra 改权重：是老派机制可解释性，并非灵异 — JacquesThibs · 2026-11-03
• GPT-6 Astra 仅改 0.016% 权重便大幅提升小模型数学能力 — kevrussell · 2026-11-03
• 【源头】Yoav Goldberg 泼冷水：Astra 改模型权重多是已知可解释性技术 — yoavgo · 2026-11-03
• Astra 改 Qwen 权重真相：只是套用公开可解释性技术，并非 RSI — markjeffrey · 2026-11-03
• NLP 学者：模型会做某类任务，主要说明它训练时见过这类任务 — ziv_ravid · 2026-11-03
• 模型会解释自己的电路？研究者：这更可能暴露训练数据构成 — yoavgo · 2026-11-03
• 为什么给模型喂电路解释数据？一场关于 OpenAI 训练构成的讨论 — ziv_ravid · 2026-11-03
• Yoav Goldberg：OpenAI 完全可能在自动构造电路解释类训练数据 — yoavgo · 2026-11-03

另有 13 条近重复转述:CSProfKGD · teortaxesTex · xuanalogue · udmrzn · repligate · LatentSpaceLeaper · lateinteraction · neal_lathia · sebkrier · SergioPaniego · lateinteraction · lateinteraction · AI寒武纪