权重空间编程论文:只改 1023 个参数,MATH-500 提升 29.45 分
pmttyji · reddit · 2026-11-10
一篇系统研究 Weight-Space Programming(WSP,权重空间编程)的论文:让推理 agent 直接读取并修改神经网络权重,作为梯度微调之外的一种模型适配方式。作者通过 7 个 benchmark、2 个模型规模(Qwen3.5-0.8B 与 9B)的 16 条编辑轨迹进行了系统评估。
三大发现
- 局部干预收益可观:在完整 held-out 评测上,MATH-500、GPQA Diamond、IFEval、SciBench 分别最高提升 29.45、4.42、36.72、17.11 个百分点;其中仅修改 1023 个参数就带来 29.45 分提升(0.8B 上 Math 从 8.35 → 37.80)。
- 跨任务泛化不均衡但存在:数学任务编辑后的 checkpoint 无需再编辑,就能让 GPQA Diamond、IFEval、SciBench 分别提升 3.03、12.18、20.10 分,而 SciCode 不变(9B 模型上收益则小得多,Math 甚至 -0.35)。
- 编辑效果仍不稳定:不同轨迹间结果差异很大,16 条轨迹中有 6 条在无法可靠验证候选改进时选择保留原始权重。
论文指出 WSP 在高度局部化的模型适配上有潜力,但干预发现、可靠性与跨任务迁移仍是核心挑战。arXiv、GitHub 与项目页已公开。
所属事件:权重空间编程：前沿模型直改权重显著提升小模型能力(6 条相关)→
「研究」频道最新
- LLM 能查出临床同行评审漏掉的方法学错误 — RexDouglass · 2026-11-10
- Cohere Labs 技术讲座：区域化表示让长视频视觉计算量随内容而非像素扩展 — Cohere_Labs · 2026-11-10
- NIH 发起人类推理研究征集，计算模型为重点方向之一 — tallinzen · 2026-11-10
- DART 用歧义导向向量微调，改善 7 个模型的过度自信问题 — MaartenSap · 2026-11-10
- AI agent ClockBase 重析数百万数据集,找出 500+ 逆龄干预 — Dr_Singularity · 2026-11-10
- Hugging Face 为 transformers 引入 Decision Models:直接输出决策分布而非文本 — tomaarsen · 2026-11-10