NVIDIA 发布 Molt：专为 Agent 研究设计的 RL 训练框架

trawasthi_ai · x · 2026-08-23

NVIDIA 推出了 Molt，一个原生的 PyTorch RL 训练框架，专为 Agentic 研究设计。其技术栈由三部分组成：Ray（放置/异步队列）、vLLM（rollout）和 NVIDIA AutoModel with FSDP2（训练）。

核心特性：

Agentic-first 设计：Reward 可以是任意 Python 代码（数学评分器、LLM-as-judge、多轮工具评估、VLM 环境），无需预训练 Reward 模型。
两种 Agent 接口：
Env (Gymnasium 风格)：框架拥有 LLM 循环，step() 返回 reward。
ChatAgent：Agent 拥有循环，适合对话流场景。

技术背景补充：

转发内容还提及了训练与推理中通信原语（如 all-gather）的区别——训练涉及大量权重/梯度（百 MB 级）传输，而推理（如逐 token 生成）数据包通常很小（KB 级），尽管名称相同但通信模式完全不同。

「编程与Agent」频道最新