小米MiMo强化学习训练解析

第 1 集 · 小米 MiMo RL 训练细节引热议：疑似 1M 上下文、30 步即大幅提升(2026-09-22,15 条)

小米 MiMo-V2.6 的强化学习训练细节在海外技术社区引发热议。stochasticchasm 推测这疑似业内首次在 100 万 token 上下文上做 RL 训练，且仅约 30 步就取得戏剧性性能提升、训练曲线未见平台期；tokenbender 与 nrehiew 分别从算法改造、训练效率与 infra 实践角度做了系统拆解。多方关注共同指向一个结论：超大批次、稳定化的标准 GRPO 可能带来远超预期的样本效率。

已确认

• MiMo 采用经典架构，被 stochasticchasm 评价为 simple and strong。
• 训练每步批次规模极大：1568 个任务 × 每任务 16 个 rollout，整轮训练消耗大量 token。
• stochasticchasm 指出模型仅经约 30 步 RL 就大幅提升，远少于预期；训练曲线看不到平台期迹象，他与转评者 nrehiew 均质疑为何没有继续训练。
• 训练采用非常标准的 GRPO 形式，尚未引入部分团队已开始使用的 critic 模型。stochasticchasm 推测大批量可能已足够降低梯度噪声，即便不扩大 group size 也可行。
• tokenbender 梳理了坚持 GRPO 的针对性改造：用 prompt 均值损失替代 token 均值损失（DAPO），避免长回答获得过多梯度权重；正负优势分别设置裁剪边界等。核心思路是不换更花哨的算法，而为稳定性与规模做修改。
• tokenbender 解读称高吞吐、异构环境及仅 13% 的 policy drift staleness 说明所选环境大多可直接在基座权重上运行或改进，不需依赖课程学习。
• nrehiew 汇总了报告中最独特的训练 infra 做法：从轨迹中屏蔽 infra 故障（如工具不可用）；虽在多种 harness 上训练，但保证同一组内使用同一 harness 以便归一化；基于 rollout 长度估算 HBM 内存占用。
• 工程取舍上未采用 PipelineRL（保留旧 KV cache）的做法，而是策略更新后重新 prefill。stochasticchasm 推测原因是整个 run 只有约 30 步，每步策略变化较大，重新 prefill 或许划算。
• stochasticchasm 观察成本构成后指出 grader（评判模型）消耗了大量算力，并好奇对方用的是哪个模型做 grader；Agent 裁判或成新的扩展轴。
• tokenbender 解读报告第 6 点 MOPD2 时推测该部分可能在早前已完成，并非本次 RL replay/live 的一部分，并认为专家教师设计比大规模混合 RL 更有效。

尚未确认

• 「1M 上下文 RL 训练」为 stochasticchasm 根据技术材料做出的推断，原文表述为「疑似」。
• 有研究者批评该方案缺少 batch 规模消融实验，大 batch 是否足以替代更大 group size / critic 仍是猜测；MOPD2 的完成时点亦属 tokenbender 的推测。

为什么重要

• 若 1M 上下文 RL 训练属实，将是扩展轴上的新突破，长上下文 Agent 任务可能因此受益。
• 30 步即逼近前沿性能，加上 13% 策略漂移与无需课程学习的证据，说明超大批次 RL 的样本效率可能远超此前认知，对后续训练策略具有参考价值。
• GRPO 的稳定性改造清单、轨迹清洗与 harness 归一化等 infra 技巧、grader 算力占比高、重新 prefill 的取舍等细节，为业界理解大规模 RL 的成本结构与基础设施设计提供了少见的一手参照。

• 仅 30 步 RL 训练带来大幅性能跃升,研究者惊讶未见平台期 — stochasticchasm · 2026-09-22
• 仅 30 步 RL 模型大幅提升,作者惊讶未见平台期 — stochasticchasm · 2026-09-22
• 经典 MiMo 架构配超大批次强化学习,1568 任务×16 rollout 仍出人意料 — stochasticchasm · 2026-09-22
• 小米 MiMo 疑似首个 1M 上下文 RL 训练,Agent 裁判成新扩展轴 — stochasticchasm · 2026-09-22
• GRPO 大 batch 训练引技术争论：批评者称缺 batch 规模消融 — stochasticchasm · 2026-09-22
• 从业者讨论百万规模 RL 训练：标准 GRPO 为何不用 critic 模型 — stochasticchasm · 2026-09-22
• 技术评论:某 RL 训练弃用 PipelineRL 保留 KV cache,改用重新 prefill — stochasticchasm · 2026-09-22
• RL 训练细节讨论:不用 PipelineRL 保 KV cache,反而选择重新 prefill — stochasticchasm · 2026-09-22
• RL 训练大量算力花在 grader 上，跑 30 步值得重新 prefill 吗 — stochasticchasm · 2026-09-22
• 小米模型仅 30 步 RL 即逼近前沿,且未见平台期 — teortaxesTex · 2026-09-22
• 13%策略漂移与高吞吐：RL训练或无需课程学习的证据 — tokenbender · 2026-09-22
• RL训练稳态秘诀:GRPO改造四板斧拆解 — tokenbender · 2026-09-22
• 小米 MoE RL 训练解读：专家教师比大混合 RL 更有效 — tokenbender · 2026-09-22
• nrehiew_ 盘点新模型 RL 训练的独家 infra 技巧：轨迹清洗到 HBM 估算 — nrehiew_ · 2026-09-23
• 小米 MiMo-V2.6 仅 30 步 RL 即大幅提升，未见平台期 — burny_tech · 2026-09-23

第 2 集 · 小米 MiMo-V2.6 发布：1000+ TPU 上押注 RL 扩展(2026-09-22,10 条)

小米发布 MiMo-V2.6，这是其迄今最大规模的强化学习扩展尝试，覆盖编程、通用推理、视觉、自动化与网络安全。团队在 1000+ TPU 上对 310B 参数模型跑通全参数 RL 训练并稳定运行 1000+ 步，每步处理 27-37 亿 token。罗福莉发长文复盘，核心问题是预训练 Scaling Law 之后 RL 能否通过持续加大算力、任务与真实环境来 scale 能力——小米这半年基本在押注这件事。

已确认

• 论文主张显式扩展 RL 三要素：batch size 与吞吐、环境多样性、grader 算力。据 @DrSingularity 转述，每步 RL 训练处理约 1568 个样本、27-37 亿 token，上下文长度达 100 万 token。
• 小米 MiMo 团队披露基于 JAX+TPU 的大规模 RL 实践：在 1000+ TPU 上对 310B 参数的 MiMo-V2.6 完成全参数 RL 训练，并稳定运行 1000+ 步；扩大规模主要是改配置而非重写代码。
• @tokenbender 在长线程解读中指出，官方对大 batch 的论证主要停留在吞吐量与 GPU 扩展便利性角度。环境合成遵循数据合成的通用好原则：清晰的 spec、从丰富的真实世界场景池采样、精选优质种子任务并做接地（grounding），他评价这些原则虽无花活但不可妥协。论文 4.2.5 节采用多种 harness 训练，tokenbender 认为值得肯定，因为开源用户常自建适合自身任务的 harness。
• 论文讨论了 CodeMidas 的源码驱动合成方法。罗福莉发布长文复盘，提到单步生成 2.5 万条 Agent 轨迹等 RL 规模细节。

尚未确认

• 长程（long horizon）任务部分似乎主要靠 agent 驱动合成完成，tokenbender 对其效果存疑，表示有兴趣跟进验证。

为什么重要

• tokenbender 指出 MiMo 的任务不是从零造，而是从多样化来源接地构建，纯 self-play 不可替代；任务性质贴近日常工作流，他因此对 MiMo v2.6 替代 Sol 用于日常工作抱有期待。
• 在 JAX+TPU 上跑通 310B 全参数 RL 并能以改配置方式扩容，为开源社区提供了大规模 RL 训练的工程参考。

• peano_ai 在 1000+ TPU 上对 310B 模型跑通全参数 RL 训练 — simonguozirui · 2026-09-22
• 小米 MiMo 用 JAX+TPU 跑通 310B 全参数 RL,扩容只改配置 — AccBalanced · 2026-09-22
• 小米 MiMo v2.6 发布:RL 三要素扩规模成最大亮点 — tokenbender · 2026-09-22
• 线程整合帖:MiMo v2.6 环境扩展原则与 agent 驱动合成 — tokenbender · 2026-09-22
• CodeMidas 源码驱动合成与 agent 长程任务合成的看点 — tokenbender · 2026-09-22
• MiMo v2.6 环境合成:真实场景打底、多种 harness 并训 — tokenbender · 2026-09-22
• 开发者拆解论文：多 harness 训练与环境合成的核心原则 — tokenbender · 2026-09-22
• 小米 MiMo v2.6 发布，深度解析其 RL 训练三大 scaling 变量 — tokenbender · 2026-09-22
• 罗福莉复盘小米 MiMo-V2.6：单步生成 2.5 万条 Agent 轨迹 — bookwormengr · 2026-09-22
• 小米 MiMo-V2.6 单步 RL 处理 27-37 亿 token,剑指模型自我提升 — Dr_Singularity · 2026-09-23

第 3 集 · 小米MoE强化学习稳定性论文：GRPO改造详解(2026-09-22,2 条)

tokenbender解读arXiv论文《Towards Stable and Effective Reinforcement Learning for Mixture-of-Experts Models》，聚焦小米MoE模型RL训练的思路：未采用花哨新算法，而是在标准GRPO基础上为稳定性与规模化做针对性改造，包括router感知的重要性采样重缩放、以prompt均值损失替代token均值损失等关键修改。

• 不换 GRPO 只做改造：小米 MoE RL 稳定性改进全拆解 — tokenbender · 2026-09-22
• MoE 强化学习稳定性新论文：router 感知的重要性采样重缩放 — tokenbender · 2026-09-22