vLLM 实现 RL 训练推理 bitwise 一致，KL 飙零并开源工具

vLLM 团队发布博客解决 RL 训练中被忽视的问题：相同权重不保证相同策略——低精度计算、低精度 KV cache 等推理优化会改变训练时重算的 logprobs，导致 KL 飙升和掉分。新方案在 DeepSeek-V4-Flash 上于 32 块 GB200 跑 100 步 RL，实现训练-推理逐位一致、KL 严格为零。实测显示量化后吞吐保留 87.5%91.3%，团队还将排查工作流提炼为开源 agent skill 并提交 PR #61551。

2026-10-15 ~ 2026-10-15 · 4 条相关

• vLLM 实现 RL 训练推理 bitwise 一致，解决 KL 飙升掉分难题 — vllm_project · 2026-10-15
• vLLM 实现 RL 训练与推理 bitwise 一致，DeepSeek-V4-Flash 100 步零偏差 — vllm_project · 2026-10-15
• vLLM 量化收益实测：KL 严格为零，吞吐保留 87.5%~91.3%，并开源一致性 agent skill — DynamicWebPaige · 2026-10-15
• vLLM 开源训练推理一致性 agent skill,RL rollout 实现位级对齐 — vllm_project · 2026-10-15