MIT「权重空间编程」论文引热议:复现可行,结论遭质疑
MIT CSAIL 于 11 月 2 日发布博文《Sparks of Weight-Space Programming》,声称 GPT-6 Astra 能阅读、修复并从零写出神经网络权重,无需梯度或训练:让 Astra 读取原始权重并手工编辑 Qwen3.5-0.8B,仅修改 0.016% 的权重就使数学成绩从 7.9% 暴涨至 48.1%,共 8 组实验。该结论迅速刷屏,也随即引来多轮独立核查、复现与批评,成为本周争议最大的 AI 研究事件。
已确认
- 论文存在并由 MIT CSAIL 发布,核心宣称如上(m8、m9)。
- RobertTLange 独立复现了「权重编程」玩法:让 Claude/Codex 从随机初始化开始对分类 MNIST 的 MLP 直接做权重编程,能把测试准确率推到接近 90%,对比类均值匹配基线 82%;各模型之间差距明显,且补充实验显示增加数据未必有用(m4、m5)。
- 前 OpenAI 研究员 Solomon Mg 的审计认为:论文并未展示 agent 能像 RSI 那样自主改写权重,但安全担忧是真实的(m1);另一第三方审计结论为「核心结果成立但存疑点」(m8)。
尚未确认 / 争议
- spaCy/Explosion 创始人 Matthew Honnibal 撰文批评该研究摘要是「舞台魔术」:读者默认所有实验用同一方法,实际上各实验手段各不相同(m6);他进一步澄清论文并非「心理模拟」——模型不是读完 Qwen 权重后在脑内推演网络行为,而是检测循环再干预,实质是两种技术的偷换概念(m7、m9)。
- Andreas Maier 对「软证据」部分提出质疑:模型能「读懂」网络行为的结论建立在仅为可读性设计的玩具任务上,各仅 4、3、3 次正确回答;谄媚性实验从权重 alone 推断的结论也显薄弱(m2);其长文系统核查了博文中哪些是实测、哪些是轶事(m3)。
- RobertTLange 指出复现设置与博客标题不同:Agent 编程对象是简单网络而非另一个 LLM,且从随机初始化开始,因此流行的「激活转向」论证在此并不完全适用(m4)。
为什么重要
- 若大模型真能直接读写与编辑神经网络权重,将挑战「必须靠梯度训练改模型」的默认范式,也带来安全与 RSI 层面的新风险,这正是审计者认为担忧真实的原因。
- 本事件也是关于 AI 研究传播质量的典型案例:摘要层面的宏大宣称(「读懂权重」「心理模拟」)与实验层面的具体做法之间存在明显落差,多位独立研究者呼吁区分实测与轶事。
2026-11-03 ~ 2026-11-05 · 9 条相关
- 第 1 集:MIT 论文:GPT-6 直改 0.016% 权重,小模型数学提分 6 倍(2026-11-03,159 条)
- 第 2 集:编辑 0.016% 权重即可破解 Qwen 推理死循环(2026-11-03,2 条)
- 第 3 集:MIT 权重编辑讨论引热议,博主旧文演示手写权重跑通 Transformer(2026-11-03,2 条)
- 第 4 集:MIT「权重空间编程」论文引热议:复现可行,结论遭质疑(2026-11-03,9 条)
- 第 5 集:LLM 修复驾驶网络实验:权重清零后方案依然有效(2026-11-04,2 条)
- 第 6 集:MIT 提出「权重空间编程」:GPT-6 直改 Qwen 权重免训练提分(2026-11-05,7 条)
一手来源
- MIT CSAIL「模型手改权重」论文遭第三方审计:核心结果成立但存疑点 — kevrussell ·
- 让 AI Agent 直接改权重:MNIST 上逼近 90% 准确率 — RobertTLange ·
- 长文核查 GPT-6「权重空间编程」:哪些是实测,哪些是轶事 — maier_ak ·
- Spacy 創始人 Honnibal 批評 LLM 權重讀寫研究摘要:各實驗方法並不相同 — honnibal · 2026-11-03
- spaCy 作者拆解 LLM 改权重研究:不是心理模拟而是检测循环再干预 — honnibal · 2026-11-03
- 【源头】MIT CSAIL「模型手改权重」论文遭第三方审计:核心结果成立但存疑点 — kevrussell · 2026-11-04
- 前OpenAI研究员审计Weight-Space编程论文:非RSI但安全担忧真实 — RichmanRonald · 2026-11-04
- 同一实验的补充:多数据未必有用,各模型权重编程差距明显 — RobertTLange · 2026-11-05
- 【源头】让 AI Agent 直接改权重:MNIST 上逼近 90% 准确率 — RobertTLange · 2026-11-05
- spaCy 作者炮轰 MIT Astra 研究:修改权重神技实为两种技术的偷换概念 — 量子位 · 2026-11-05
- 【源头】长文核查 GPT-6「权重空间编程」:哪些是实测,哪些是轶事 — maier_ak · 2026-11-05
- GPT-6 改权重争议软证据:仅靠三四道玩具题撑结论 — maier_ak · 2026-11-05