数据软重复致梯度爆炸，开发者揭示 GRPO 训练崩溃根因
ivan_bezdomny · x · 2026-08-02
作者分析了此前 Gemma 模型在 GRPO 训练中崩溃的原因。他指出，GRPO 会针对同一输入生成多个输出并计算梯度。当连续两个批次的数据中包含大量相同的罕见词（如特定的法案名称）时，会产生方向高度一致的梯度。这种在动量加持下的连续重复反向传播，直接导致模型权重被“吹爆”且无法恢复。
所属事件:开发者揭示大模型微调脆弱性：数据重复易致崩溃(3 条相关)→
「研究」频道最新
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- 学者争论：AI 将超越人类做科学，欧洲躲不开只能用别人的 — teortaxesTex · 2026-10-16
- 上海 AI Lab 提出 SERO：用可执行 Oracle 续跑训练长程智能体强化学习 — Shanghai-AI-Laboratory · 2026-10-16
- 清华联手高德发布 OmniVerifier-C1：把二元验证器升级为细粒度打分 — Bowei Liu · 2026-10-16
- 阿里开源 MAI-Gym：移动与桌面 GUI Agent 评测加强化学习训练一体化平台 — Tongyi-MAI · 2026-10-16
- 北大发布 SimForcing：把仿真运动先验蒸馏进真实机器人世界模型 — PekingUniversity · 2026-10-16