vLLM 实现 RL 训练推理 bitwise 一致，解决 KL 飙升掉分难题
vllm_project · x · 2026-10-15
vLLM 团队发布博客，介绍强化学习训练中的数值一致性问题与解法。
- 问题：RL rollout 阶段为提速采用低精度计算、低精度 KV cache 等推理优化，这些优化改变数值，导致训练重算的 logprobs 与采样时不一致，训练优化的不是实际采样的策略。在 DeepSeek-V4-Flash 上，高性能基线的训练-推理 KL 从 2e-3 飙升至 29.9，奖励随之回落。
- 方案：训练前向直接调用 vLLM 的推理 kernel，并修改这些高性能 kernel，使 rollout 与训练对每个采样 token 产生 bitwise 完全一致的 logprobs（diff = 0），同时保留 FP8 GEMM、Top-K、FP8 KV cache、MoE 通信、CUDA Graph 等高性能路径。
- 结果：DeepSeek-V4-Flash 训练 100 步每步 diff 均为 0，rollout 吞吐保持基线的 91.3%。迁移到 Nemotron-3.5（Mamba 混合 + NVFP4），一致版本在 SWE-bench Pro 上分数稳定在约 0.6，而基线从 0.56 跌至 0.22。
- 开源：流程被封装为 agent skill 并连同代码与配方一起发布；DeepSeek-V4.1 已做到 0 diff，性能优化工作将另行发文。
所属事件:vLLM 实现 RL 训练推理 bitwise 一致，KL 飙零并开源工具(4 条相关)→
「Infra」频道最新
- 微软研究院发布 Magnetar:零知识证明快 10-39 倍且仅依赖哈希函数 — Microsoft Research · 2026-10-16
- 迁回 1PB 数据上本地成本惊人，AI 训练促云回迁潮 — DavidLinthicum · 2026-10-15
- FP8+DSpark 叠加优化 Nemotron 3.5 Super VL，H100 上近 2 倍提速 — vllm_project · 2026-10-15
- 100k 长上下文输出 630 tokens/s,Nemotron 3.5 Super VL 刷新实测速度纪录 — ArtificialAnlys · 2026-10-15
- vLLM 首发支持 Nemotron 3.5 Super VL,单 GB200 跑 NVFP4 — vllm_project · 2026-10-15
- vLLM Day-0 支持 Nemotron 3.5 Super VL,BF16 与 NVFP4 双格式 — vllm_project · 2026-10-15