NVIDIA 开源 midtraining 配方，500B token 提升智能体能力

NVIDIA 发布开放的 midtraining 配方，在预训练与后训练之间插入一个中训练阶段，SFT 保持不变。该阶段以 256K 上下文、500B token 规模训练，数据混合了打包仓库、PR、提交历史等智能体相关语料。论文显示该方法可使 SWE-bench Multilingual 提升 7 分，为智能体后训练打下基础。

2026-10-17 ~ 2026-10-17 · 2 条相关