vLLM 成为 Molt 的 rollout 引擎
vllm_project · x · 2026-07-14
vLLM 官方提到,NVIDIA NeMo 团队的新框架 Molt 采用 vLLM 作为 rollout 引擎。
要点:
- Molt 是一个 agentic-first、PyTorch-native 的强化学习框架。
- 其 RL 核心保持很小、易改,rollout 交给上层的 vLLM(基于 Ray)处理。
- 这样可实现 高速异步 serving,规模可扩展到 1T 级 MoE。
- 原帖还强调 Molt 的 RL 代码量约 9K 行,面向 700B 模型。
这条信息的重点是:用成熟推理栈承担 rollout,让 RL 框架本身更轻、更容易研究和改造。
所属事件:NVIDIA推出纯PyTorch强化学习框架Molt(3 条相关)→
「Infra」频道最新
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人:现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11
- PyTorch Day Korea 2026 首届线下大会启动,9月13日截止征集演讲 — PyTorch · 2026-09-11
- 本地跑 LLM 选卡:4 张 CMP-170HX 涨价 vs Mac Studio M5 — rumboll · 2026-09-11
- llama.cpp 为 RDNA4 调优 Flash Attention,大上下文提升明显 — pmttyji · 2026-09-11