vLLM 实现 RL 训练与推理 bitwise 一致，DeepSeek-V4-Flash 100 步零偏差
vllm_project · x · 2026-10-15
vLLM 团队发布新博客，解决 RL 训练中长期被忽视的问题：相同的权重不保证相同的策略——推理优化会改变训练时重算的 logprobs，使 rollout 与训练并非真正 on-policy。
核心做法：训练前向直接调用 vLLM 的推理内核，对齐 FP8 GEMM、稀疏注意力 Top-K、FP8 KV-cache 读取、MoE 通信与 CUDA Graph 执行，使同一 token 在验证过的 batch size、阶段和并行布局下结果 bitwise 相同；前向共享数值路径，反向则独立校验。
所属事件:vLLM 实现 RL 训练推理 bitwise 一致，KL 飙零并开源工具(4 条相关)→
「编程与Agent」频道最新
- 网友：亚马逊若推出面向 Agent 的无头商店将赚翻 — djcows · 2026-10-15
- poteto 开源 pstack：一套让编码 Agent 严谨干活的 skills — DanielLockyer · 2026-10-15
- Geoffrey Huntley 提出开源新模式：拒收 PR，开放 Remix — kieranklaassen · 2026-10-15
- E2B 沙箱用量 5 个月翻倍至 20 亿，61% 流量来自 agent — FinanceYF5 · 2026-10-15
- 合并量涨到每天 3 万次,Anthropic 弃用 Git 自研源码管理 — shashib · 2026-10-15
- 一次改战略全链路自动更新：多 agent 共享对话重新定义 AI 工作流 — FellMentKE · 2026-10-15