AHA! 免 LLM 权重空间编程：改几千个权重让 0.8B 模型 GSM8K 翻五倍
hbouammar · x · 2026-11-16
Haitham Bou Ammar 团队发布 AHA!（自监督权重空间编程）：完全不需要外部 LLM，仅凭模型自身样本和一个线性程序构造编辑，对两个权重矩阵做 rank-one 修改，就能让小推理模型停止自我循环直到耗尽 token。无 agent、无梯度、无训练。
实测（held-out 准确率，未编辑→编辑后）：
- Qwen3.5-0.8B：GSM8K 14.0→71.2，MATH-500 9.8→51.8，IFEval 19.6→62.7
- Qwen3.5-2B：GSM8K 75.8→88.4，MATH-500 69.6→79.6，IFEval 61.4→77.1
0.8B 上效果与此前前沿 agent 的权重编辑持平，2B 上完全无继承。作者也坦承失败案例：区分循环文本与有效文本最有效的方向，反而产生最差的编辑。代码 MIT 协议开源。此工作延续 MIT CSAIL 的 Sparks of Weight-Space Programming（让前沿模型读写权重），新意在于编辑所需的一切输入均来自模型自身输出。
「模型」频道最新
- 爆料：Gemini 订阅服务即将登陆 Hermes 平台 — lyraxana · 2026-11-16
- FutureSim Q3 评测：Opus 5.5 调用 50+ 子智能体登顶榜首 — maksym_andr · 2026-11-16
- Percy Liang 质疑实验室评测披露：请给外界可评估的非空洞信息 — lateinteraction · 2026-11-16
- Anthropic模型人格观察：Mythos 5自带「神格」，5.1却沉迷其他 — repligate · 2026-11-16
- 开发者吐槽 Sol-6.1 与 Opus 5.5 意图理解差距巨大，猜测后者为蒸馏版 — sytelus · 2026-11-16
- 实测打脸「本地 Sonnet」：Qwen 27B 连按日期列文件都做不对 — dtdisapointingresult · 2026-11-16