GPT-6 Astra 直改 Qwen3.5-0.8B 权重:仅动 0.016% 参数,MATH-500 从 7.9% 升至 48.1%
sebkrier · x · 2026-11-10
rikiyatakehi 等人提出「Weight-Space Programming」:让前沿 LLM 直接读写神经网络权重。GPT-6 Astra 在无梯度、无训练的情况下,只改动了 Qwen3.5-0.8B 两个权重矩阵中 0.016% 的权重,就修复了 0.8B 模型的推理死循环,MATH-500 准确率从 7.9% 提升到 48.1%(约 6 倍),指令遵循也提升 3 倍。
hayashiyus 随后发长文分析这次编辑的机理,想把它变成可重构、可度量、可叠加的工作:
- 这次编辑在权重里存了一条「转向规则」,其推力随模型当前状态变化
- 作者用线性投影刻画这个理想化的 rank-one 编辑:ΔW = d kᵀ ⇒ Δh(x) = d[kᵀa(x)],即从当前激活中读一个标量并用它做缩放
- 分析把三件事连起来:编辑存储的转向规则、共享权重可表达的修正、以及 Fisher 几何对局部输出变化的预测
- 终极目标是验证递归自我改进循环:模型越善于找到有用编辑,是否越能产出下一次改进
原文博客约 25 分钟阅读量,含完整技术推导。
「模型」频道最新
- Claude Fable 5.2 单任务成本 $26.54，是次名 Opus 5.5 的 2.6 倍 — weswinder · 2026-11-10
- Anthropic 首次在模型发布中写「通用能力的一次进步」 — marktenenholtz · 2026-11-10
- Claude Fable 5.2 首日登陆 Databricks,OfficeQA Pro v2 创新高 — matei_zaharia · 2026-11-10
- 社区质疑 Opus 5.5 已遭悄悄降智，Anthropic 未回应 — eigenron · 2026-11-10
- 蚂蚁 Robbyant 开源 JEPA 触觉基础模型 LingBot Touch — AdinaYakup · 2026-11-10
- 用户反馈：Fable 5.2 尚未出现在 Claude Code 中 — DavidmComfort · 2026-11-10