NVIDIA 公开 Nemotron 中训练配方:500B token 提升智能体能力
denisyarats · x · 2026-10-17
NVIDIA 团队发布开放中训练（midtraining）论文，详述如何为智能体后训练打底。配方在 256K 上下文上用数千亿 token 训练，数据混合了打包仓库、PR、提交历史、构建日志等自然软件工程数据，外加少量智能体轨迹（Perplexity 贡献）。
效果（相同 SFT 后对比）：
- Nemotron 3.5 Lightning：500B 中训练 token 使 SWE-bench Verified 从 60.7→64.5，Multilingual 55.8→62.8，Pro 32.0→35.5
- Nemotron 3.5 Super：280B token 使长程任务基准 DeepSWE 从 11.7→15.7，SWE-bench Verified 72.9→74.3
作者指出预训练短上下文、几乎不含智能体交互，而过长的 SFT 会损害后续 RL 可训练性，中训练阶段正好填补两者之间。论文附完整数据源构建、消融与评测协议。Perplexity 研究员 denisyarats 表示参与了与 NVIDIA 的合作，后续还有更多进展。
「模型」频道最新
- Opus 主动画火柴人图解镜头构图，理解力惊艳用户 — justin_hart · 2026-10-17
- Rohan 周报:Meta 发 816B 开源模型、Anthropic Q3 营收 168 亿美元 — rohanpaul_ai · 2026-10-17
- Burkov:开源模型与前沿闭源模型的差距只在数据质量 — burkov · 2026-10-17
- 速报：Claude 5.5 Haiku 不敌 6.1 Luna，后者约等于 Gemini 3.8 Flash — burkov · 2026-10-17
- Anthropic 发布 Haiku 5.5:成本降 75%,Terminal-Bench 得分远超 GPT-6 Luna — dl_weekly · 2026-10-17
- OpenAI 优化 Codex 上下文复用与缓存命中，等效用量提升 — TheMoonMidas · 2026-10-17