权重空间编程：前沿模型直改权重显著提升小模型能力

「权重空间编程」(Weight-Space Programming, WSP) 成为本周热议的新范式：让前沿 LLM 作为推理智能体直接读取并修改神经网络的权重数值，不依赖梯度或重新训练即可完成模型适配。rikiyatakehi 等人的工作显示，GPT-6 Astra 直接编辑 Qwen3.5-0.8B 两个权重矩阵中仅 0.016% 的参数，就修复了模型的推理死循环问题，MATH-500 成绩从 7.9% 提升至 48.1%。

已确认

• 核心结果出自 rikiyatakehi 等人的 WSP 研究：GPT-6 Astra 无梯度、无训练，改动 Qwen3.5-0.8B 两个权重矩阵中 0.016% 的参数，MATH-500 从 7.9% 升至 48.1%，并修复推理死循环。
• 上海 AI 实验室联合同济、复旦进行了系统研究：在 7 个基准、两个模型规模 (Qwen3.5-0.8B 与 9B) 上验证 WSP，只改 1023 个参数即可让 MATH-500 提升 29.45 分，作为梯度微调之外的一种模型适配方式。
• MIT CSAIL 的「Sparks of Weight-Space Programming」论文中同样用 GPT-6 Astra 通过直接编辑权重修复了 Qwen 的思维循环问题；nathanrs 进一步用线性规划替代 Astra 的试错式调参，称构造求解速度快约 100 倍、所需改动参数少约 8 倍。
• Opper AI 博客展示了权重空间编程的实践案例：不重新训练、手工编辑 Qwen3.5，把一个用于游戏决策的 0.8B 模型从 1327 分改造到 3604 分，配图记录了八步迭代的成绩提升。
• @teortaxesTex 转发提到 DeepSeek 通过手改权重造出 18GB 模型 Nanseek，性能逼近前沿模型。

尚未确认

• Nanseek 的具体性能与后续可用性仅见转发简述，细节有待原始来源核实。
• 各帖对「改动比例/参数数」的口径不一 (0.016% vs 1023 个参数)，可能对应不同实验设置，需以论文原文为准。

为什么重要

• WSP 提供了梯度微调之外的模型适配新路径：如果前沿模型能可靠地直接定位并修改关键参数，小模型的针对性修复与增强成本可能大幅降低。
• MIT 用线性规划替代 LLM 试错调参的思路，暗示这一方向可与传统优化方法结合，走向更系统、可验证的权重编辑工具链。

2026-11-09 ~ 2026-11-10 · 6 条相关

• 【源头】改 1023 个参数提升 MATH-500 达 29.45 分:权重空间编程实测 — Junru Hu · 2026-11-09
• 「权重空间编程」复现成功：DeepSeek 手改权重造出 18GB 模型 Nanseek，性能逼近前沿 — teortaxesTex · 2026-11-09
• 权重空间编程:手工编辑 Qwen3.5,把 0.8B 决策模型从 1327 分改到 3604 — facethef · 2026-11-09
• 【源头】GPT-6 Astra 直改 Qwen3.5-0.8B 权重:仅动 0.016% 参数,MATH-500 从 7.9% 升至 48.1% — sebkrier · 2026-11-10
• 线性规划替代试错调权,MIT 权重编辑方法提速 100 倍少改 8 倍参数 — IgorCarron · 2026-11-10
• 【源头】权重空间编程论文:只改 1023 个参数,MATH-500 提升 29.45 分 — pmttyji · 2026-11-10