MIT 研究:GPT-6 改 0.016% 权重,让 Qwen 数学成绩提升 6 倍
Puzzleheaded-King584 · reddit · 2026-11-03
MIT CSAIL 的 Rikiya Takehi、Jayden Teo、Alex Zhang、Omar Khattab 发布研究《Sparks of Weight-Space Programming》,发现前沿 LLM 能原生读写神经网络权重:
- 让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力,它仅改动 0.016% 的权重,无需梯度或训练,就修复了 Qwen 官方模型卡都警告的推理死循环问题
- MATH-500 成绩从 7.9% 提升到 48.1%(约 6 倍),且泛化到指令遵循,IFEval 提升 3 倍
- 仅凭看原始权重,GPT-6 就能判断网络是训练来做什么的;还能从零写出小型游戏网络,胜过 PPO 训练 1 亿步的模型
作者称之为 Weight-Space Programming(权重空间编程),认为这对模型优化和可解释性都可能是大事。
所属事件:MIT「权重空间编程」:GPT-6 直接改权重提升小模型能力(92 条相关)→
「模型」频道最新
- DeepSeek 超级代理提速 1.9 倍的代价:多烧 3.8 倍 token — AIFlow_ML · 2026-11-03
- 团队在 Qwen 上复现 Anthropic「教会 Claude 为什么」对齐方法并开源 — austinc3301 · 2026-11-03
- 用户抱怨 Sol 6.1 变懒:反复跑无用测试、丢细节、零进展 — sloppenheimer · 2026-11-03
- Menlo 报告:企业 AI 支出一年暴增 5.4 倍至 1770 亿美元,Anthropic 份额升至 55% — mmurph · 2026-11-03
- 「Astra 可读写 Qwen 权重自改进」爆火 HN 后被指误导,两帖同屏登顶 — yoshiyama_akira · 2026-11-03
- LongCat-2.5 实测:同任务成本 0.28 美元,约为 Qwen3.8-Max 的三分之一 — omarsar0 · 2026-11-03