模型手改另一个模型权重：仅动 0.016% 参数,MATH-500 从 7.9% 升至 48.1%
kevrussell · x · 2026-11-03
MIT CSAIL 发布 Sparks of Weight-Space Programming，展示一个模型（GPT-6 Astra）直接读取并手工编辑另一个模型的权重。独立研究机构 Honesty.Tools 审计了其公开的编辑记录、评测日志后确认头条结果成立。
核心实验：
- 对象是 Qwen3.5-0.8B（模型卡自认常陷入 thinking loop）
- Astra 将循环定位到第 15、19 层 MLP 内部的一个方向，从每层 64 个输出列中减去该方向，共改 131,072 个权重，约占模型 0.016%
- 仅用 50 次前向传播的预算，MATH-500 准确率从 7.9% 升至 48.1%
作者公开了全部编辑、评测记录与日志，因此第三方可独立核验；审计方也指出这证明了什么、尚未证明什么。
所属事件:MIT 权重空间编程：AI 直接改 0.016% 权重数学成绩升 6 倍(41 条相关)→
「模型」频道最新
- LiquidAI LFM3-1.7B 登顶 HF 趋势榜：5 天 1k 星、42.4k 下载 — maximelabonne · 2026-11-03
- Weight-Space Programming：GPT-6 直接改 Qwen3.5 权重，数学能力提升 6 倍 — lateinteraction · 2026-11-03
- Gemini 又现出圈回复,研究者感叹「对齐很复杂」 — vedantmisra · 2026-11-03
- Domingos 一句话观点：人类比 AI 更耐数据 — pmddomingos · 2026-11-03
- OpenAI:ChatGPT 中类搜索查询量约为谷歌的五分之一 — firstadopter · 2026-11-03
- LFM3-1.7B 量化实测:3.6 GB 显存近无损,2.2 GB 轻度降质 — crusaderky · 2026-11-03