NVIDIA 开源 midtraining 配方：500B token 让 SWE-bench Multilingual 涨 7 分
dair_ai · x · 2026-10-17
- 核心做法：NVIDIA 发布开放的 midtraining 配方，在预训练与后训练之间插入一个阶段，SFT 保持不变。该阶段以 256K 上下文、500B token 的自然软件工程数据训练，包括打包仓库、Pull Request、commit 历史与构建日志，外加少量 agent 轨迹。
- 效果数据：在 Nemotron 3.5 Lightning 上，SWE-bench Multilingual 从 55.8 升至 62.8，SWE-bench Verified 从 60.7 升至 64.5，SWE-bench Pro 从 32.0 升至 35.5；更大的 Nemotron 3.5 Super 上 DeepSWE 从 11.7 升至 15.7。
- 评估方法：base 模型的代理指标无法预测后训练结果，因此每个数据选择都用短程固定 SFT run 打分，配方与消融实验全部公开。
所属事件:NVIDIA 开源 midtraining 配方，500B token 提升智能体能力(2 条相关)→
「编程与Agent」频道最新
- 用户用 Claude 逆向复刻 TradingView、OBS,无需源码 — PrajwalTomar_ · 2026-10-17
- Gemini 一句话生成可交互水塘网站，波纹折射效果惊艳 — R3d-Gr33n-Blu3 · 2026-10-17
- 15 个 2026 年值得收藏的 AI 工具:从 Firecrawl 到 Agent Zero — nikola_mr64990 · 2026-10-17
- Agent 评测 gate 通过≠安全：通过后首次真实请求仍得 0 分 — papaparija25 · 2026-10-17
- 开发者开源 clauden：让 Claude Code 跑在 NVIDIA 免费托管模型上 — gmaggiotti · 2026-10-17
- 交互式 3D 模拟器：把 AI Agent 内部工作流拆给你看 — SeveralSeat2176 · 2026-10-17