GPT-6 直接改 Qwen3.5 权重:仅动 0.016% 参数,数学能力最高提升 6 倍
HaggaiMaron · x · 2026-11-04
团队让「GPT-6 Astra」直接编辑 Qwen3.5-0.8B 的权重来提升数学能力,并把这种方法命名为 Weight-Space Programming(权重空间编程)。
关键结果:
- 模型只修改了 0.016% 的权重,无需梯度、无需训练
- 修复了 0.8B 小模型的推理死循环
- 数学能力最高提升 6 倍,指令遵循提升 3 倍
该工作与 ICLR 2025「Weight Space Learning」工作坊一脉相承——该工作坊主张把神经网络权重当作一种新的数据模态来研究,涵盖权重空间表征、模型分析(从权重推断性能)、模型合成(生成/剪枝/合并权重)等方向。作者称前沿 LLM 如今可以原生读写神经网络权重。
所属事件:MIT 论文：GPT-6 直改 0.016% 权重，小模型数学成绩提升 6 倍(159 条相关)→
「模型」频道最新
- Lambert 开源模型经济数据仪表盘上线,数据免费解读付费 — natolambert · 2026-11-05
- 实测称小米 MiMo 是被低估的性价比黑马，基准表现持续对标一线 — VictorSanh · 2026-11-05
- Pangram 发布图像检测模型 Image 1.0:识别 99.2% AI 图,误报仅 0.27% — TuhinChakr · 2026-11-05
- 腾讯新模型被曝网络安全训练数据有限,引黑客攻击担忧 — pstAsiatech · 2026-11-05
- 用户分不清前沿模型与便宜 50 倍模型，编排层或成最终赢家 — RihardJarc · 2026-11-05
- 基于 GLM-5.3 的科学模型 Hydrogen-1.0 上 HF 趋势榜，MIT 开源 — deep-principle · 2026-11-05