GPT-6 直接改权重:仅动 0.016% 参数让 0.8B 模型数学提升 6 倍
teortaxesTex · x · 2026-11-03
rikiyatakehi 团队展示了一种名为 Weight-Space Programming(权重空间编程) 的做法:让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力。
- 模型仅修改了 0.016% 的权重,无需梯度或任何训练
- 修复了 0.8B 模型的推理死循环,数学能力最高提升 6 倍,指令遵循提升 3 倍
- 核心结论:前沿 LLM 可以原生地读写神经网络权重
Yoav Goldberg 转发称这「有点疯狂且非常有趣」,但表示不相信 LLM 是有涌现能力的魔法泛化器,这反而让他好奇 OpenAI 到底用什么数据训练了这些模型,并想看 Claude 在此类任务上的表现。
所属事件:MIT 发布权重空间编程：GPT-6 直接改权重提升小模型数学能力(12 条相关)→
「模型」频道最新
- Mistral Le Chonk 科学报告发布,团队预告下一版还有惊喜 — _AndrewZhao · 2026-11-03
- Mistral ML4 开源:仅 10 兆瓦算力从头训练,自称网络防御与编码最强开放权重模型 — _AndrewZhao · 2026-11-03
- Dessa 被指印证 Karpathy「召唤幽灵」类比：Jack 直言模型速度很快 — analisereal · 2026-11-03
- Together CEO:真正目标是 token maxing 而非 cost maxing — togethercompute · 2026-11-03
- Dream-1 零样本机器人实测：100 集全公开，会纠错但听不懂指令 — paigeinsf · 2026-11-03
- 爆料称 DeepSeek 或先发 V4.1F/V4.2F，Pro 版仍需等待 — teortaxesTex · 2026-11-03