AHA!无需外部 LLM 的权重空间编程,Qwen3.5-0.8B GSM8K 从 14 分升至 71.2
hbouammar · x · 2026-11-18
作者团队发布 AHA!:一种自监督的权重空间编程方法,全程不需要外部语言模型参与。
- 背景:此前 MIT CSAIL 的 Sparks of Weight-Space Programming 让前沿 AI agent 直接读写模型权重来修复问题,但依赖外部大模型。
- 做法:修改两个权重矩阵的 rank-one 变化,即可阻止小型推理模型陷入重复循环直到耗尽 token。编辑所需的方向、层、神经元全部来自模型自身采样,再通过一个线性程序求解——无 agent、无梯度、无训练。
- 效果(held-out 单样本准确率,编辑前→后):
- Qwen3.5-0.8B:GSM8K 14.0→71.2,MATH-500 9.8→51.8,IFEval 19.6→62.7
- Qwen3.5-2B:GSM8K 75.8→88.4,MATH-500 69.6→79.6,IFEval 61.4→77.1
- 0.8B 上与 agent 编辑效果持平,2B 上完全不依赖 agent 的结果。作者也指出失败模式:最能区分「循环文本与有效文本」的方向反而产生最差的编辑。
「研究」频道最新
- MIT 教授 Buehler 获 2027 工程科学奖章,表彰「物理感知 AI」开创性工作 — ProfBuehlerMIT · 2026-11-18
- 田野实验:AI Overviews 使网站点击减少 39.8%,零点击搜索增 34.5% — paulnovosad · 2026-11-18
- 博主实测 RoboDojo 仿真「连错都算不上」,质疑机器人基准可靠性 — ZeYanjie · 2026-11-18
- 图像压缩伤多模态推理:研究提出 CoTAM 专供机器的压缩方案 — burkov · 2026-11-18
- 形式验证遇上 Agentic AI:神经符号方法瞄准智能体可信化 — luislamb · 2026-11-18
- Claude 被曝可原生预测泛素蛋白折叠,无需专用工具 — iScienceLuvr · 2026-11-18