GPT-6 Astra 直改 0.016% 权重,Qwen3.5-0.8B 数学能力提升 6 倍
_lewtun · x · 2026-11-03
- Weight-Space Programming:有开发者让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力,无需梯度、无需训练。
- 模型只改动了 0.016% 的权重,就修复了 0.8B 小模型的推理死循环,数学能力最高提升 6 倍,指令遵循也提升 3 倍。
- 作者称这标志着前沿 LLM 可以原生读写神经网络权重,即「权重空间编程」。
- Maxime Labonne 转发评论称,可以直接让 Astra 使用 Antidoom(FTPO,Final Token Preference Optimization,用于消除 Doom Loops),便宜且快 100 倍,暗示这类权重编辑能力有更廉价的替代方案。
所属事件:MIT「权重空间编程」：GPT-6 直改 0.8B 模型权重，数学成绩提升 6 倍(80 条相关)→
「模型」频道最新
- paul_cal 长文盘点 LLM 调优中被忽视的失败模式 — paul_cal · 2026-11-03
- 曝 DeepSeek V5 将用华为昇腾芯片预训练，Ascend 960DT 预计 2027 Q1 就绪 — teortaxesTex · 2026-11-03
- 爆料称 GPT-6.5 或动用数百万 GPU 预训练，规模远超现有模型 — VraserX · 2026-11-03
- 清华团队开源 Apex-35B:AI 自动研究系统造出通用模型 — jiqizhixin · 2026-11-03
- 微软 MAI-DxO 登 Science:304 例复杂病例诊断准确率 83% 对医生 36% — jiqizhixin · 2026-11-03
- Google 开源 EmbeddingGemma 2 论文:统一多模态嵌入,小模型胜大模型 — osanseviero · 2026-11-03