RL训练稳态秘诀:GRPO改造四板斧拆解
tokenbender · x · 2026-09-22
作者分析了该RL训练方案的几个核心改造：坚持用GRPO而非更花哨的算法，但为稳定性和规模做了针对性修改——prompt均值损失替代token均值损失，避免长回答获得过多梯度权重(DAPO);正负优势分别设置裁剪边界(DAPO);熵自适应裁剪(mai-thinking-1);以及分段级信用塑造(TreeAdv)。
作者还观察到13%的策略漂移staleness下仍保持高吞吐，说明所选环境可直接在基础权重上运行或改进，无需课程学习(curriculum)——否则训练会受到明显惩罚。
所属事件:小米 MiMo RL 训练细节引热议：疑似 1M 上下文、30 步即大幅提升(15 条相关)→
「模型」频道最新
- 11 个 LLM 剑桥辩论社对决 1168 场：Claude Fable 5.2 压倒性夺冠 — AymericRoucher · 2026-11-12
- 用户实测 Claude App：widget 模块看不到用户编辑、移动端也不显示 — petergyang · 2026-11-12
- OpenAI 将下线 Standard Voice，用户发帖纪念这个「没人测的基准」 — aesthetic_legume · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Ricursive 发布开源权重 Ripple-65B：TerminalBench 称霸美国开源榜 — StanfordAILab · 2026-11-12
- 被严重低估的资源：跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12