MIT 展示 GPT-6 Astra 直改 Qwen 权重，数学成绩提升 6 倍
lateinteraction · x · 2026-11-05
MIT rikiyatakehi 与 lateinteraction 实验室发布「Weight-Space Programming」研究：让前沿模型 GPT-6 Astra 直接读取并编辑 Qwen3.5-0.8B 的权重，全程无梯度、无训练。
核心结果（配图数据）：
- 模型仅直接修改了 0.016% 的权重，MATH-500 从 7.9% 升至 48.1%，GSM8K 从 13.8% 升至 67.1%，IFEval 从 21.0% 升至 62.3%，即数学约提升 6 倍、指令跟随约 3 倍。
- 还从零写出了一个 Breakout 游戏策略。
- 该方法修复了 0.8B 模型的推理死循环，本质是前沿 LLM 原生具备了读写神经网络权重的能力。
引用者 gabepereyra 提出两个关键研究问题：
- 能否从十亿参数规模扩展到万亿参数模型？
- 它能替代现代后训练流水线中的哪些阶段？配图表格整理了 Kimi K3（2.8T、RL 专家+蒸馏）、DeepSeek-V4 Pro（1.6T）、GLM-5（740B、多级 RL 链）等开源模型的后训练流程，指出未来或可用权重空间编辑替代其中环节。
团队正与该实验室合作，将方法扩展到更大模型并在 LAB 上测试。
所属事件:MIT 提出权重空间编程，微调 0.0002% 权重即大幅提升模型能力(2 条相关)→
「研究」频道最新
- Cognition 首次披露 mid-training 配方，token 效率图选数据 — carlesgelada · 2026-11-05
- Witten 新论文致谢 Claude Opus 5.5，物理大师用 AI 协助研究 — ceciletamura · 2026-11-05
- arXiv 论文：堆 test-time 算力让自评更一致但不更准，Scorpio 降本 17–42% — agarwl_ · 2026-11-05
- Together Compiler 引热议：开源社区少见拆解自优化平台技术权衡 — simran_s_arora · 2026-11-05
- 《经济学人》播客：AI 垃圾论文或淹没科学界，自主研究需重审同行评议 — james_y_zou · 2026-11-05
- 线性网络结论延伸到非线性：Multi-MNIST 上任务互动模式依然成立 — ClementineDomi6 · 2026-11-05