改 1023 个参数提升 MATH-500 达 29.45 分:权重空间编程实测
Junru Hu · hf · 2026-11-09
上海 AI 实验室联合同济、复旦系统研究 Weight-Space Programming(WSP):让推理智能体直接检查并修改神经网络参数,作为梯度适配的替代方案。
- 在 7 个基准、两个模型规模(Qwen3.5-0.8B 与 9B)上进行 16 条编辑轨迹实验。
- 高度局部化干预即可带来大幅提升:MATH-500、GPQA Diamond、IFEval、SciBench 分别最高提升 29.45、4.42、36.72、17.11 个百分点;仅修改 1023 个参数就带来 29.45 分的 MATH-500 提升。
- 跨任务泛化不均:数学编辑后的 checkpoint 无需再编辑即可提升 GPQA Diamond、IFEval、SciBench 3.03、12.18、20.10 分,但 SciCode 不变。
- 有效编辑仍困难且不一致,结果在任务间差异很大。
所属事件:权重空间编程：前沿模型直改权重显著提升小模型能力(6 条相关)→
「研究」频道最新
- Cohere Labs 技术讲座：区域化表示让长视频视觉计算量随内容而非像素扩展 — Cohere_Labs · 2026-11-10
- NIH 发起人类推理研究征集，计算模型为重点方向之一 — tallinzen · 2026-11-10
- DART 用歧义导向向量微调，改善 7 个模型的过度自信问题 — MaartenSap · 2026-11-10
- AI agent ClockBase 重析数百万数据集,找出 500+ 逆龄干预 — Dr_Singularity · 2026-11-10
- MIT 撞击声研究开源数据与代码，望推动听觉直觉物理研究 — JoshHMcDermott · 2026-11-10
- MIT 听觉实验室十年项目发布：室内声学脉冲响应与生成模型开放 — JoshHMcDermott · 2026-11-10