首篇把 RSI 引入大模型预训练:3 个月从零训练 801-30B-A3B

Xudong07452910 · x · 2026-11-13

SII-GAIR 与 Xinxu AI 发布论文《No Second Run》,据称是全球首个把递归自我改进(RSI)应用于完整从零预训练的工作,训练出 801-30B-A3B-Base(30B-A3B MoE)。

核心思路:预训练昂贵且不可重来(一次跑数十万 GPU 小时),无法像 post-training 那样闭环。解法是把预训练拆成多个可验证小闭环——Agent 定位训练故障、评估数据与训练策略,通过 Context Infrastructure 共享训练指标、代码变更和失败经验,让知识持续积累。

结果:新组建团队 3 个月完成 11.8T tokens 预训练;同 1T token 预算下 22 项 benchmark 均分从 47.78 升到 56.83(收益来自多项联合改进,无法单独归因)。作为 base 模型优于 Qwen3-30B-A3B 和 Nemotron-3.5-Lighting-30B-A3B,轻量 SFT 后在 4 项 agent benchmark 上超过全量后训练模型。

意义:当任务贵到无法反复重来,局部可验证实验 + 长期经验积累 + 跨任务共享 context 是持续自我改进的关键。模型和轻量 SFT 数据将开源。

所属事件:全球首次将递归自我改进引入大模型预训练,开源 30B 模型超 Qwen3(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →