MIT「权重空间编程」：前沿模型直改他模型权重

MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab 发布「Weight-Space Programming（权重空间编程）」研究（论文博客《Sparks of Weight-Space Programming》）：前沿 LLM（GPT-6 Astra）无需额外训练即可原生读取、编写并对神经网络权重进行推理，把原始权重当作可读、可编辑的「代码」，直接诊断失败原因并打补丁修复。多项演示显示该能力初步成立，被修改的 Qwen 模型已公开上传，但 hosheeb、Yoav Goldberg 等研究者提出质疑与澄清，其新颖性与通用性仍待独立验证。

已确认

• 权重编辑：据 @teortaxesTex、@giffmana、@yacineMTB、@arpitbhayani、@MITCSAIL 等转述或发布，GPT-6 Astra 通过 50 次 forward-pass 工具调用、直接编辑 Qwen3.5-0.8B 的权重以提升数学能力，全程无梯度、无训练，仅修改约 0.016% 的参数，MATH-500 成绩从 7.9% 提升至 48.1%（约 6 倍），指令遵循也提升 3 倍。Astra 先观察到 Qwen 陷入推理死循环，定位到两层中导致死循环的方向再针对性做「权重手术」。
• 开放复现：据 @akhaliq 转发并经 rikiyatakehi 确认，经权重空间编辑修改后的 Qwen3.5-0.8B 模型已上传至 Hugging Face（RikiyaT/Qwen3.5-0.8B-weight-space…），有网友按公开日志复现，MATH-500 得到 51 分，与论文报告的 48.1% 量级相符。
• 识别任务：据 @TheTuringPost 转述，Astra 不借助任何工具、仅查看 17,253 个原始权重数值，即以 99% 置信度判断某策略网络是在 Breakout 上训练的。
• 从零编写网络：在不给环境反馈的条件下，Astra 能从头写出可运行的小型神经网络；据 Reddit 用户转述，该网络表现超过 PPO。
• 策略修复演示：一个 PPO 训练的赛车策略总在坡道卡住，将权重、场景描述和一条失败轨迹喂给 Astra 后，它一次回复（无工具调用）直接编辑权重修补问题，仅改动约 3.5% 的权重就将成功率拉满。
• 类似的独立实践也已出现：据 @huggingface 转述，有开发者让 Claude Opus 通过编辑权重修复一个小型 OCR 模型的重复死循环问题，仅改动 0.0085% 的权重，且只花费约 10 美元算力（预算上限为 5 小时与 100 美元 Hugging Face Jobs 算力）。
• @DrSingularity、@KyeGomezB、@rohanpaulai 等多位作者转发并评论称，AI 已开始读取、调试并改写其他神经网络的内部权重，这可能开辟一条不经过传统训练流程的模型修复/改进路径，是「模型修模型」的新范式。

尚未确认

• 除复现 Qwen 权重编辑结果外，其余演示（识别任务、从零写网络、策略修复）主要来自论文博客及 Reddit、explainx.ai 等转述，本批 106 条帖子绝大多数为对同一结果的转发与复述，可复现性有待更全面的独立验证。另据 @nathanborror 转述提示，GPT-6 Astra 是「据称的下一代前沿模型」，其具体身份与获取方式未获官方说明。
• @markjeffrey 转发 hosheeb 的澄清（@teortaxesTex 亦转发并称挖细节后「魔法感」大打折扣）：这并非「Astra 用 X 光视手术改造同伴权重」或 RSI，而是它找到并自行实现了一种已发表的、恰好能解决这类失败模式的可解释性技术。
• @yoavgo（Yoav Goldberg）提出怀疑式解读：若模型能完成这类任务，更多说明训练数据里包含过此类任务，暴露的是训练集的范围与类型，而非超人类天赋。他进一步区分：从权重反推网络功能令人印象深刻，但「从零手写权重」并不惊艳——他本人就有让学生考试手写网络权重的经验。

为什么重要

• 传统上修改模型行为需要梯度训练或微调；若 LLM 能直接对权重做「外科手术式」编辑，模型调试、修复和定制可能大幅简化，尤其是 PPO 等强化学习策略的故障修复场景。Claude Opus 修复 OCR 模型的低成本实践若属实，说明该路径已可在极小预算下尝试。
• 前沿 LLM 展现出对底层参数的隐式理解能力，暗示其预训练中学到了关于权重结构与功能的知识，对可解释性和模型可控性均有潜在意义；被改模型的公开上传与初步复现成功，是该方向可信度的一个积极信号。
• 但 hosheeb 与 Goldberg 等人的澄清提示，实验效果可能来自模型对已有可解释性技术或训练数据中类似任务的复用，其实际新颖性与通用性需要独立验证；该方向仍处早期，后续效果与可复现性有待更多独立验证。

2026-11-03 ~ 2026-11-04 · 106 条相关

事件全程(共 6 集)→

• 第 1 集:MIT「权重空间编程」：前沿模型直改他模型权重(2026-11-03,106 条)
• 第 2 集:LLM 直接编辑模型权重：从技术梳理到自编辑实验构想(2026-11-03,5 条)
• 第 3 集:编辑 0.016% 权重即可破解 Qwen 推理死循环(2026-11-03,2 条)
• 第 4 集:模型评测文件第三方审计：宣称提升基本成立但仍有疑点(2026-11-03,4 条)
• 第 5 集:MIT「权重空间编程」爆火复现后遭实验证伪(2026-11-03,13 条)
• 第 6 集:模型自改权重引担忧：或构成递归自我改进循环(2026-11-03,3 条)

• MIT 研究称 LLM 可直接改权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — lateinteraction · 2026-11-03
• 前沿 LLM 被发现能直接读写神经网络权重 — nathanbenaich · 2026-11-03
• MIT CSAIL 论文：GPT-6 裸看权重改 0.016% 参数，MATH-500 从 7.9% 提到 48.1% — viksit · 2026-11-03
• Astra 裸改 Qwen3.5-0.8B 权重：仅动 0.016% 参数，MATH-500 从 7.9% 升至 48.1% — Pyros-SD-Models · 2026-11-03
• GPT-6 Astra 仅改 0.016% 权重，让 0.8B 小模型数学提升 6 倍 — RichmanRonald · 2026-11-03
• yoavgo:基于权重解读网络的实验令人印象深刻,从零写权重反而一般 — yoavgo · 2026-11-03
• Yoav Goldberg 评权重解读实验：编辑偏置即可修复模型，比从零写权重更惊人 — yoavgo · 2026-11-03
• Astra 无工具直接读写神经网络权重，Qwen 0.8B 数学成绩从 7.9% 提到 48.1% — teakhop · 2026-11-03
• Yoav Goldberg：读懂权重后，手改模型参数只是机械作业 — yoavgo · 2026-11-03
• LLM 原生读写神经网络权重：0.8B 模型数学成绩 7.9%→48.1% — Marrk · 2026-11-03
• AI 改 AI:仅改 0.016% 权重,Qwen3.5-0.8B 数学成绩从 7.9% 升至 48.1% — teortaxesTex · 2026-11-03
• 补刀分析:Astra 权重手术只对有死循环缺陷的 Qwen 有效,救不了 Gemma 270m — teortaxesTex · 2026-11-03
• 无反向传播改权重：大模型一次回复修补小模型策略，仅动 3.5% 权重成功率拉满 — bookwormengr · 2026-11-03
• 前沿 LLM 可原生读写神经网络权重：判别游戏、零训练写出超 PPO 的策略网络 — RobbinDeBank · 2026-11-03
• MIT 研究者称 GPT-6 Astra 无梯度改 0.016% 权重，Qwen 小模型数学 7.9%→48.1% — troll_khan · 2026-11-03
• Qwen 陷入死循环,Astra 用代码消融「循环方向」救活模型 — burny_tech · 2026-11-03
• Agent 直接改 Qwen3.5-0.8B 权重，MATH-500 从 7.9% 提到 48.1% — giffmana · 2026-11-03
• Yoav Goldberg 推测：RL 训练或已纳入修改模型权重的任务 — yoavgo · 2026-11-03
• "GPT-6 改 0.016% 权重让 0.8B 模型数学提升 6 倍"帖疯传，疑为恶搞 — lateinteraction · 2026-11-03
• MIT 报告：LLM 直接改 0.016% 权重，小模型数学成绩提升 6 倍 — Dr_Singularity · 2026-11-03
• 研究者：AI 已开始读取、调试并改写其他神经网络的内部权重 — Dr_Singularity · 2026-11-03
• Qwen 底模 93% 答案跑死循环，某「6 倍提升」疑破基线虚高 — paul_cal · 2026-11-03
• 研究者批「权重空间编程」：Atari 是送答案的选择题，Qwen 案例近乎喂答案 — anshulkundaje · 2026-11-03
• 作者复盘：数学暴涨 6 倍的真因是修掉了推理循环 — anshulkundaje · 2026-11-03
• 声称 GPT-6 Astra 直接编辑 Qwen 权重，MATH-500 从 7.9% 提至 48.1% — 1-800-methdyke · 2026-11-03
• 模型手改另一个模型权重：仅动 0.016% 参数,MATH-500 从 7.9% 升至 48.1% — kevrussell · 2026-11-03
• MIT CSAIL 让 GPT-6 手改权重,仅改 0.016% 参数令小模型数学成绩暴涨 — kevrussell · 2026-11-03
• GPT-6「改权重」刷屏后被扒皮：实为 steering 向量加试错 — akbirthko · 2026-11-03
• 用前沿模型直接改小模型权重:0.016% 参数让 0.8B 数学能力提升 6 倍 — teortaxesTex · 2026-11-03
• Neel Nanda 评 GPT-6 Astra 改权重：是老派机制可解释性，并非灵异 — JacquesThibs · 2026-11-03
• GPT-6 Astra 仅改 0.016% 权重便大幅提升小模型数学能力 — kevrussell · 2026-11-03
• Yoav Goldberg 泼冷水：Astra 改模型权重多是已知可解释性技术 — yoavgo · 2026-11-03
• Astra 改 Qwen 权重真相：只是套用公开可解释性技术，并非 RSI — markjeffrey · 2026-11-03
• NLP 学者：模型会做某类任务，主要说明它训练时见过这类任务 — ziv_ravid · 2026-11-03
• 模型会解释自己的电路？研究者：这更可能暴露训练数据构成 — yoavgo · 2026-11-03
• 为什么给模型喂电路解释数据？一场关于 OpenAI 训练构成的讨论 — ziv_ravid · 2026-11-03
• Yoav Goldberg：OpenAI 完全可能在自动构造电路解释类训练数据 — yoavgo · 2026-11-03

另有 13 条近重复转述:CSProfKGD · teortaxesTex · xuanalogue · udmrzn · repligate · LatentSpaceLeaper · lateinteraction · neal_lathia · sebkrier · SergioPaniego · lateinteraction · lateinteraction · AI寒武纪