经典 MiMo 架构配超大批次强化学习,1568 任务×16 rollout 仍出人意料
stochasticchasm · x · 2026-09-22
作者称 MiMo 采用经典架构,简单而有效。训练中每步使用了极大的批次规模:1568 个任务、每个任务 16 个 rollout,意味着整轮训练消耗了大量 token。即便如此,这样的效果仍然令人意外。
所属事件:小米 MiMo 疑似首个 1M 上下文 RL 训练，30 步即大幅提升(4 条相关)→
「研究」频道最新
- GRPO 大 batch 训练引技术争论：批评者称缺 batch 规模消融 — stochasticchasm · 2026-09-22
- Will Depue 补充:合成环境训练最大隐患是「黑」世界模型,但有缓解手段 — willdepue · 2026-09-22
- 从 Adam 转向 Muon 中期训练?业界热议预训练优化器切换与 mxfp4 QAT — stochasticchasm · 2026-09-22
- 开发者观点:世界模型做 RL 是被严重低估的研究方向 — willdepue · 2026-09-22
- Cua AI 发布 Cua-Bench-S1 基准与 Cua-S1 系列电脑操作模型 — ycombinator · 2026-09-22
- Real-Time EXPO-FT:异步拆分让慢速 VLA 实现实时操控 — philfung · 2026-09-22