Molt：纯PyTorch智能体RL框架
青稞AI · wechat · 2026-07-16
Molt 是一个 agentic-first、纯 PyTorch Native 的强化学习框架，目标是把 agentic RL 做到“代码可读、可改、还能扩到大规模 MoE”。
核心设计
- 核心 RL 代码约 9,000 行，整体运行时只依赖 Ray + vLLM + NVIDIA AutoModel/FSDP2，不依赖 Megatron。
- 把 智能体视为 Python 程序：agent、奖励函数、工具调用、LLM-as-judge、VLM 环境都可直接接入。
- 训练链路是异步的：Rollout 由 vLLM 负责，训练由 PyTorch/FSDP2 负责，Ray 负责编排与队列。
关键工程能力
- 支持多轮工具调用、LLM-as-judge、多模态 VLM、SFT 和多种 RL 算法（REINFORCE、RLOO、GRPO、PPO 等）。
- 强调 训推一致性：用 vllmkl 和重要性采样做偏差校正，处理异步 rollout 带来的 logprob 失配。
- 为 MoE 场景提供 RouterReplay 和 RouterFreeze，避免训练和推理时专家路由不一致。
- 支持全异步 rollout、partial rollout、CPU offload，以及 TP/EP/CP 等并行方式。
规模与定位
- 官方声称已验证从 Qwen3.5-397B 到 GLM-5.2753B 级别的 MoE 训练。
- 作者将它和 verl / slime / OpenRLHF 对比，强调差异在于：更轻量、纯 PyTorch、仍能扛大模型。
文末还给了命令行上手示例和仓库/技术报告链接，适合想做 agentic RL 或大规模后训练的人直接参考。
所属事件:NVIDIA推出纯PyTorch强化学习框架Molt(3 条相关)→
「编程与Agent」频道最新
- AIE Code Summit 2026 开放申请:仅收 800 人,keynote 全程免费直播 — trq212 · 2026-10-27
- 十年云架构师：企业 AI 架构远不止加一个 LLM — kashifmanzoor · 2026-10-27
- TRL 上线 Score Centering：直击 RL 训练不稳定的根因 — lvwerra · 2026-10-27
- 预计算标准答案：团队重复问答的缓存式解法 — colinmcnamara · 2026-10-27
- 开发者观点：与 agent 交互式协作仍有未被挖掘的价值 — alex_frantic · 2026-10-27
- 研究者发起 AMA:揭秘「平民开发者」用 AI Agent 自动化企业工作 — Loose_Rip359 · 2026-10-27