MIT 权重编程遭遇线性规划:1 分钟求解替代 8 小时试错,改动权重再少 8 倍

CatAstro_Piyush · x · 2026-11-13

作者分析 MIT CSAIL「Sparks of Weight-Space Programming」中的实验后指出，GPT-6 Astra 对 Qwen3.5-0.8B 的权重编辑本质上是在用试错法解一个线性规划（LP）。

背景

• Astra 仅凭推理就改写小网络权重：改 Qwen3.5-0.8B 仅 0.016% 的权重，MATH-500 从 7.9% 升到 48.1%，无需梯度或训练

核心发现

• 该修复的实际作用是消除「思考循环」：原模型 93% 的回答撞上 32,768 token 上限拿不到答案；修复后 MATH-500 48.1%、GSM8K 67.1%、IFEval 21%→62%，撞限率降到 33.1%
• 在很少循环的 Gemma 3 270M 上 Astra 无显著提升——权重编辑只能移除掩盖能力的障碍，无法添加模型本不具备的能力

LP 洞察

• Astra 的搜索约花 8 小时、28 次前向来决定改哪些权重、改多少；而两次 LP 求解（各约 1 分钟）即可完成同样工作，且改动权重少 8 倍

启示：权重空间编程中相当一部分「推理」可被经典优化方法替代，更便宜也更精准。

原文链接 →

「模型」频道最新

• Agent Arena 实测 Gemini 4 Hydrogen:最快最便宜,跻身第五 — arena · 2026-11-13
• Agent Arena 实测:Gemini 4 Hydrogen 单步 7.3 秒,比 Sonnet 5.5 快 2.7 倍 — arena · 2026-11-13
• Fable 5.2 登顶双榜,Gemini 4 Carbon 造场景强、复原真实建筑弱 — Lianhuiq · 2026-11-13
• Artificial Analysis 公开 Intelligence Index v5 各子项评测明细 — ArtificialAnlys · 2026-11-13
• Gemini 4 Hydrogen 评测:智力仅差 Sonnet 5.5 一分,成本约三分之一 — ArtificialAnlys · 2026-11-13
• Gemini 4 Hydrogen 上线：Search 最大模型升级，成 AI Mode 新默认 — rmstein · 2026-11-13

更多「模型」频道 AI 资讯 →