NVIDIA 开源 Molt RL 框架：一个 Python 文件即可接入环境与奖励
algo_diver · x · 2026-11-10
NVIDIA 发布开源 RL 训练框架 Molt（GitHub 上为 NVIDIA-NeMo/labs-molt，约 9k 行，Apache-2.0，已获 1.3k stars），主打极简接入与可扩展性，支持 1T 级 MoE 训练。核心设计：
- 传统 RL 框架需要把环境和奖励逻辑写进 trainer 代码库并注册配置，奖励常来自需要独立 GPU 的 reward model；Molt 去掉了这两个要求。
- 每次运行通过 agentpath 指向一个 Python 模块，trainer 代码完全不用改。模块提供两种接入方式：写一个 Env 类实现 step() 函数接收模型输出并返回奖励；或用其他插件形式。
- 框架 agentic-first、HuggingFace 原生，涉及 context/expert/tensor 并行与 FSDP 等分布式技术。
配套文章梳理了 Anthropic、OpenAI、DeepSeek 在 agentic RL 上「用 system prompt 作为奖励函数」的趋同思路（呼应 Karpathy 的 system prompt learning），从 RLHF 到 RULER 的演进。
「Infra」频道最新
- 马斯克:Grok 4.8 弃用 JAX/SGLang,C/C++ 重写全栈进入 RL 阶段 — tetsuoai · 2026-11-10
- RTX 3060 12GB 实测:RustingStrata 跑 Qwen3.6-35B 全胜 llama.cpp — Serious_Scarcity7818 · 2026-11-10
- 开源 OKC 挑战赛 H200 内核:第 99 名公开 5 个内核与提速数据 — abhijithneil · 2026-11-10
- 论文实证：on-policy distillation 可容忍量化推理与异步 rollout 的训练-推理失配 — Cong Yu · 2026-11-10
- Seroter 每日阅读清单：新 TPU、Claude 新模型降价 20% 与产品经理的未来 — rseroter · 2026-11-10
- 美能源部投 1150 万美元建电网基础模型，目标提速千倍 — ingliguori · 2026-11-10