vLLM 量化收益实测：KL 严格为零，吞吐保留 87.5%~91.3%，并开源一致性 agent skill

DynamicWebPaige · x · 2026-10-15

vLLM 训练-推理一致性方案的完整结果与工具链：

• DeepSeek-V4-Flash：32 块 GB200 上跑 100 步 RL，每一步 train-inference diff 均为 0；rollout 吞吐 24.22 vs 基线 26.53 output tokens/ms，为基线的 91.3%（前 89 步 88.6%）。
• Nemotron-3.5-Lightning-30B-A3B（Mamba-2 混合架构 + NVFP4）：在过滤后的 SWE-bench Pro 训练子集上 KL 严格为 0；训练奖励从 0.56 升至 0.59，而基线运行从 0.56 跌至 0.22；rollout 吞吐为基线 87.5%。
• 团队把整套流程蒸馏成开源 agent skill：定位首个发散算子 → 最小复现 → 修复 → 复验 → profile 优化，已提交 vLLM PR #61551。
• DeepSeek-V4.1 也已达到 0 diff。注意：以上为训练过程指标而非 held-out 基准成绩，端到端训练墙钟加速尚待测量。

所属事件:vLLM 实现 RL 训练推理 bitwise 一致，KL 飙零并开源工具(4 条相关)→

原文链接 →

「编程与Agent」频道最新

• Dan Wahlin 演示用 Copilot 应用内浏览器验收 Agent 产出 — DanWahlin · 2026-10-16
• 网友：亚马逊若推出面向 Agent 的无头商店将赚翻 — djcows · 2026-10-15
• poteto 开源 pstack：一套让编码 Agent 严谨干活的 skills — DanielLockyer · 2026-10-15
• Geoffrey Huntley 提出开源新模式：拒收 PR，开放 Remix — kieranklaassen · 2026-10-15
• E2B 沙箱用量 5 个月翻倍至 20 亿，61% 流量来自 agent — FinanceYF5 · 2026-10-15
• 合并量涨到每天 3 万次,Anthropic 弃用 Git 自研源码管理 — shashib · 2026-10-15

更多「编程与Agent」频道 AI 资讯 →