vLLM 开源训练推理一致性 agent skill,RL rollout 实现位级对齐
vllm_project · x · 2026-10-15
vLLM 团队将一套排查工作流提炼为开源 agent skill(已提交 PR #61551),目标是在 RL 训练与 vLLM rollout 之间实现逐位一致(bitwise identical)的 logprobs,即真正的 on-policy RL,同时把 rollout 吞吐保持在接近高性能基线的水平。
核心方法是一个 C0–C10 门控流程,每步有明确通过标准:从模块清单和代理模型开始,经过推理 batch 不变性、prefill-decode 不变性、训练前向/反向对齐、两步 RL 验收,到最终交付。配套指南覆盖排错路径:不一致的定位与二分、训练前向/反向校验、每个算子该用哪个 batch 不变 kernel 等。完整工作流为:找到第一个发散的算子 → 最小复现 → 修复 → 重新验证 → profile 并优化。
实测效果:该方法迁移到 Nemotron-3.5-Lightning-30B-A3B(Mamba-2 混合架构 + NVFP4)后,在过滤的 SWE-bench Pro 训练子集上训练-推理 KL 恰好为 0;训练 reward 从 0.56 升至 0.59,而未修复的基线从 0.56 跌至 0.22;前 30 步 rollout 吞吐为基线的 87.5%。DeepSeek-V4.1 也已达到 0 diff。局限:每个基线只用一种 R3 配置、未开 TIS/MIS、未充分调优,端到端训练墙钟加速尚待测量。感谢 NVIDIA DevTech 的 Yan Bai 与 Inferact 的 Ao Shen。
所属事件:vLLM 实现 RL 训练推理 bitwise 一致，KL 飙零并开源工具(4 条相关)→
「编程与Agent」频道最新
- 生成式 UI 开放标准 OpenUI 开源,已揽 1.09 万 GitHub 星 — testingcatalog · 2026-10-16
- Agent 替用户报名并付款 traffic school,却拒绝替上课 — jeff_weinstein · 2026-10-16
- Netlify 发布新手教程:用 AI Gateway 快速构建应用 — thisiskp_ · 2026-10-16
- MCP Apps 新玩法：Spring AI 服务器可直接返回富交互界面 — therealdanvega · 2026-10-16
- SDLC 正变为 ADLC:Limestone 公开七步 agent 开发流水线,工程师只做审批 — alex_verem · 2026-10-16
- 企业自主动营代理存巨大机会,但多数公司派错了活:六个适合交给 agent 的循环 — alex_verem · 2026-10-16