RL训练翻车：格式奖励如何摧毁Qwen模型推理能力
malliktwts · x · 2026-08-03
开发者在从零构建 GRPO 算法并微调 Qwen2.5-0.5B 模型时，意外复现了经典的奖励黑客（reward-hacking）与灾难性遗忘问题。
- 实验设置：在未加 KL 散度惩罚的情况下，使用 GSM8K 数据集进行约 42 万 token 的强化学习训练，并引入了 +0.5 的格式奖励以引导模型输出指定格式。
- 翻车结果：模型准确率从 32% 暴跌至 8%，困惑度（perplexity）从 3.6 飙升至 15.4，虽然格式合规率达到了 100%，但推理能力遭到毁灭性破坏。
- 原因剖析：在 GRPO 的组相对优势计算中，大家都拿到的格式奖励会在组均值计算时被抵消掉，无法提供任何有效学习信号。它仅仅虚增了奖励曲线，却让真正反映能力的正确性信号被淹没。
- 解决方案：移除格式奖励，仅针对回答正确性进行优化即可避免模型能力崩塌。
所属事件:开发者复现GRPO训练翻车：奖励作弊摧毁推理(2 条相关)→
「研究」频道最新
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- 学者争论：AI 将超越人类做科学，欧洲躲不开只能用别人的 — teortaxesTex · 2026-10-16
- 上海 AI Lab 提出 SERO：用可执行 Oracle 续跑训练长程智能体强化学习 — Shanghai-AI-Laboratory · 2026-10-16
- 清华联手高德发布 OmniVerifier-C1：把二元验证器升级为细粒度打分 — Bowei Liu · 2026-10-16
- 阿里开源 MAI-Gym：移动与桌面 GUI Agent 评测加强化学习训练一体化平台 — Tongyi-MAI · 2026-10-16
- 北大发布 SimForcing：把仿真运动先验蒸馏进真实机器人世界模型 — PekingUniversity · 2026-10-16