TRL 复现 Modal 混合精度 RL 训练：GRPO 150 步崩塌，SC+MIS 稳到 0.72

QGallouedec · x · 2026-10-16

Modal 此前提出用全异步 RL、混合精度、混合加速器采样器训练 agentic coding 模型，质疑同构集群训练的必要性。
TRL 团队在 AsyncGRPO 中复现：Qwen-1.5B，vLLM 采样器用 FP8（权重+KV），训练器 bf16。
关键结果：普通 GRPO 约 150 步后崩塌，reward 从 0.56 跌到 0.10；仅加 ratio caps 或 masked importance sampling 都救不回来；score centering + MIS 则训练效果（0.72）与 bf16 采样器持平。
结论：off-policy 修正能让 FP8 采样在 RL 训练中稳定工作，印证了 Modal 的低成本混合精度方案可行。

「Infra」频道最新