RL 训练细节讨论:不用 PipelineRL 保 KV cache,反而选择重新 prefill
stochasticchasm · x · 2026-09-22
讨论一份 RL 训练配置的非常规取舍:
- 与 PipelineRL 保留旧 KV cache 的做法不同,该方案选择在策略更新后重新 prefill。作者推测原因可能是整个 rollout 只有约 30 步,每步策略变化较大,重新 prefill 值得。
- 配置本身相当标准,但作者还把大 batch size 的动机归结为提升 GPU 利用率,而非训练效果本身,这一点也被认为是 Interesting 的信号。
所属事件:小米 MiMo RL 训练细节引热议：疑似 1M 上下文、30 步即大幅提升(15 条相关)→
「Infra」频道最新
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12
- llama-modchip：64GB 内存纯 CPU 跑 284B 模型，零 GPU — pmttyji · 2026-11-12
- Agent Substrate 计算器：预测不同负载下 agent 会话恢复速度 — pjausovec · 2026-11-12