Weight-Space Programming:GPT-6 直接改 Qwen3.5 权重,数学能力提升 6 倍
lateinteraction · x · 2026-11-03
rikiyatakehi 团队展示「权重空间编程」:让前沿 LLM(GPT-6 Astra)直接编辑 Qwen3.5-0.8B 的权重来提升数学能力。
- 仅改动 0.016% 的权重,无梯度、无训练
- 修复了 0.8B 模型的推理死循环,数学能力最高提升 6 倍
- 指令跟随能力也提升 3 倍
结论:前沿 LLM 已能原生读写神经网络权重,被视为模型编辑方向的新范式,博客已发布。
所属事件:MIT 研究:LLM 直改 0.016% 权重,小模型数学成绩提升 6 倍(46 条相关)→
「模型」频道最新
- 有用户感叹:Sonnet 5.5 好像不如以前聪明了 — nlarusstone · 2026-11-03
- Apple Intelligence 12 月登陆中国,用阿里 Qwen 替代 ChatGPT — winer666 · 2026-11-03
- 研究发现新模型已学会「权重手术」,训练数据暗示行业转向贝叶斯先验 — Tkaraletsos · 2026-11-03
- Victor Taelin 疑指前沿实验室用模型自改权重替代反向传播 — arthurcolle · 2026-11-03
- 投资人 Bindu Reddy:垂直微调模型已超越前沿模型,成本仅 1/20 — bindureddy · 2026-11-03
- OpenAI 更新 Model Spec:AI 须理解人类意图而非机械执行 — sven_ai · 2026-11-03