SPACE 后训练校准法：不重训不补数据，撤销部分 SFT 反而全面涨分
kaiwei_chang · x · 2026-10-21
Jiachen Gu 团队提出 SPACE，一种事后（post-hoc）方法，用于解决「微调提升目标技能却削弱其他能力」的问题：能否通过部分撤销 SFT 来改进微调后的 LLM？
- 做法：只需 SFT 前后两个 checkpoint，在 pre-SFT 权重的主子空间上做几何校准——主子空间恢复 pre-SFT 能力，正交补空间保留 post-SFT 能力。无需额外训练、无需数据，一行代码即可完成校准。
- 效果（论文配图雷达图）：在 Qwen2.5-7B 上域内（ID）平均提升 +2.85、域外（OOD）+2.26；在 Qwen3-14B-Base 上 ID +2.41、OOD +1.52，覆盖 MATH500、AIME24/25、AMC23、GPQA-D、MMLU-Pro、IFEval、HaluEval 等 benchmark，同时缓解域外能力回退并进一步超过 SFT checkpoint 的域内表现。
「研究」频道最新
- GovAI 分析：开源与闭源模型生物能力差距仅约 7 个月 — Manderljung · 2026-10-21
- 可实证性越强的学科引用越平等？经济学家补充一个反例 — soumitrashukla9 · 2026-10-21
- 深度学习可解释性入门:ISM、DeepLIFT、DeepSHAP 等方法图解 — anshulkundaje · 2026-10-21
- TerminalBench 作者回应评测争议：建数据难，欢迎加入社区共建 — ajratner · 2026-10-21
- 开源项目做成创业公司：FrontierCS 团队晒「B 轮」与五个月冲刺 — OfirPress · 2026-10-21
- 当机械论解释失效：神经科学家反思何谓「理解」复杂系统 — burny_tech · 2026-10-21