AI 改 AI:仅改 0.016% 权重,Qwen3.5-0.8B 数学成绩从 7.9% 升至 48.1%
teortaxesTex · x · 2026-11-03
事件
rikiyatakehi 团队让 LLM「Astra」去优化另一个 LLM:任务是把 Qwen3.5-0.8B 的数学能力变强,全程不用梯度、不做训练,只做权重手术。
做法
- Astra 观察到 Qwen 陷入推理死循环(官方 model card 也警告过的已知问题):前 96 次练习中有 85 次直接跑满 32,768 token 上限、给不出答案。
- 它把循环定位到第 15、19 层 MLP 写入的一个方向,并从这两层各 64 个输出列中减去该方向,共修改 131,072 个权重——只占 0.8B 参数的 0.016%。
- 定位过程仅用了 50 次前向传播。
结果
- MATH-500:7.9% → 48.1%
- GSM8K:13.8% → 67.1%
- IFEval(指令遵循):21.0% → 62.3%,说明循环并非数学特有,修复后其他能力也受益
- 命中 token 上限的比例从 93% 降到 33%;只用 10 或 25 次前向传播时循环几乎没消除
作者将这种思路称为 Weight-Space Programming:无需重训即可对模型做针对性修复。teortaxesTex 评论称「没有听起来那么疯狂——这是人类也能做的基础手术,但仍然相当惊人」。
所属事件:MIT 提出「权重空间编程」：GPT-6 直接读写神经网络权重(13 条相关)→
「模型」频道最新
- 用户用量截图中惊现 GPT-6.2 Astra，疑似正在灰度推送 — jeppa35 · 2026-11-03
- OpenAI 用量共享限额的隐藏代价：流失最能帮模型改进的重度用户 — evanmac42 · 2026-11-03
- Mistral Le Chonk 科学报告发布,团队预告下一版还有惊喜 — _AndrewZhao · 2026-11-03
- Mistral ML4 开源:仅 10 兆瓦算力从头训练,自称网络防御与编码最强开放权重模型 — _AndrewZhao · 2026-11-03
- Dessa 被指印证 Karpathy「召唤幽灵」类比：Jack 直言模型速度很快 — analisereal · 2026-11-03
- Together CEO:真正目标是 token maxing 而非 cost maxing — togethercompute · 2026-11-03