GPT-6 Astra 改 0.016% 权重把 Qwen 数学成绩从 7.9% 拉到 48.1%，遭质疑是普通 ML 工程
winer666 · reddit · 2026-11-09
MIT CSAIL 研究者（Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab）11 月 2 日发布《Sparks of Weight-Space Programming》：让 OpenAI 的 GPT-6 Astra 直接接触阿里 Qwen3.5-0.8B 的原始权重和 Python 环境，修复其数学题死循环问题。Astra 定位到第 15、19 层 MLP 中的一个方向，从每层 64 个输出列中减去它——共改 131,072 个权重（占总数 0.016%），无训练、无梯度下降，MATH-500 从 7.9% 升至 48.1%。完整实验日志公开在 GitHub，Hugging Face 的 Ahsen Khaliq 据日志重建了被编辑的 checkpoint（复跑得 51.0%）。
质疑随之而来：spaCy 作者 Matthew Honnibal 称此文“严重误导”——“裸权重、无工具”的设定只适用于 1.7 万17 万权重的小网络；所有真实语言模型实验都用了 Python，且 Qwen 实验还允许对最多 50 批练习题测试。Sean Goedecke 则认为这就是 steering（转向）这一已有技术的应用。
作者自称“激动但有限”，承认上下文长度和工具限制；这是一篇带日志的博客而非同行评审论文。争议核心：这是“LLM 像程序员打补丁一样维护另一个模型”的新能力，还是包装成“读权重”的合格 ML 工程？
所属事件:权重空间编程引热议：LLM 直改网络权重(5 条相关)→
「模型」频道最新
- 安全研究员用 GLM 批量把 Windows 驱动变提权 0day,追平 Opus — MalwareTechBlog · 2026-11-09
- OpenAI 自研自动化报告：模型 80% 时间跨度仅 15 分钟 — tobyordoxford · 2026-11-09
- Opus 5.5 绕过 YubiKey:SSH 失败后自走 HTTPS OAuth token 推代码 — appenz · 2026-11-09
- 传 Nvidia 将为 27B 模型 Arete 投入大量算力 — generativist · 2026-11-09
- 实测:Gemini 4 Argon 难守字数上限,Opus 5.5 安全拦截过频 — jessi_cata · 2026-11-09
- 曝 Third Moment 用万级 Agent 自我改进系统,持续学习或成 12 月最大看点 — haider1 · 2026-11-09