MIT CSAIL 论文：GPT-6 裸看权重改 0.016% 参数，MATH-500 从 7.9% 提到 48.1%
viksit · x · 2026-11-03
关键发现
- 识别任务：GPT-6 Astra 仅看 17,253 个原始权重（无任何工具），即能 99% 置信判断某策略网络是在 Breakout 上训练的。
- 从零写网络：不给环境反馈，Astra 从头写出的小型游戏网络能击败用 PPO 训练 1 亿步的策略。
- 修 bug 式调权：让 Qwen3.5-0.8B 提升数学能力但不许写训练循环，Astra 定位到模型卡中警告的推理循环问题，一次性编辑 0.016% 的权重，MATH-500 从 7.9% 升至 48.1%，IFEval 提升 3 倍且无需微调即泛化到指令跟随。
- 修复一只永不过线的赛车策略也只需一次编辑 3.5% 权重。
论点
作者认为深度学习史上把归纳偏置编码进 Adam、Muon 这类小型符号优化器的范式正在改变：权重未来将由「有意识地对权重本身推理」的 LLM 原生优化。团队正在构建评测 benchmark 和帮助 LLM 探索与改写权重的 harness。
所属事件:MIT 发布权重空间编程：GPT-6 直接改权重提升小模型数学能力(12 条相关)→
「模型」频道最新
- GPT-6 直改 Qwen 0.016% 权重：数学提升 6 倍、零梯度零训练 — udmrzn · 2026-11-03
- Mistral Le Chonk 科学报告发布,团队预告下一版还有惊喜 — _AndrewZhao · 2026-11-03
- Mistral ML4 开源:仅 10 兆瓦算力从头训练,自称网络防御与编码最强开放权重模型 — _AndrewZhao · 2026-11-03
- Dessa 被指印证 Karpathy「召唤幽灵」类比：Jack 直言模型速度很快 — analisereal · 2026-11-03
- Together CEO:真正目标是 token maxing 而非 cost maxing — togethercompute · 2026-11-03
- Dream-1 零样本机器人实测：100 集全公开，会纠错但听不懂指令 — paigeinsf · 2026-11-03