vLLM 实现训练推理 bitwise 一致,RL 训练保 91% rollout 吞吐并开源
vLLM Blog · rss · 2026-10-14
vLLM 团队宣布解决了 RL 训练中 rollout 与训练前向计算的数值一致性问题:让两者给出 bitwise 完全相同的 logprobs,从而消除训练-推理偏差导致的 RL 训练不稳定与无效迭代。
- 在 DeepSeek-V4-Flash 与 Nemotron-3.5-Lightning-30B-A3B(NVFP4)上验证了 bitwise 一致
- 保持 DeepSeek-V4-Flash 上 91% 的 rollout 吞吐
- 配套的开源 agent skill 已发布,工程上可直接复用
「Infra」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- SpaceX 拟接入 8 万座美国基站,博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源:AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练,较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机,本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23