首篇把 RSI 引入大模型预训练:3 个月从零训练 801-30B-A3B
Xudong07452910 · x · 2026-11-13
SII-GAIR 与 Xinxu AI 发布论文《No Second Run》,据称是全球首个把递归自我改进(RSI)应用于完整从零预训练的工作,训练出 801-30B-A3B-Base(30B-A3B MoE)。
核心思路:预训练昂贵且不可重来(一次跑数十万 GPU 小时),无法像 post-training 那样闭环。解法是把预训练拆成多个可验证小闭环——Agent 定位训练故障、评估数据与训练策略,通过 Context Infrastructure 共享训练指标、代码变更和失败经验,让知识持续积累。
结果:新组建团队 3 个月完成 11.8T tokens 预训练;同 1T token 预算下 22 项 benchmark 均分从 47.78 升到 56.83(收益来自多项联合改进,无法单独归因)。作为 base 模型优于 Qwen3-30B-A3B 和 Nemotron-3.5-Lighting-30B-A3B,轻量 SFT 后在 4 项 agent benchmark 上超过全量后训练模型。
意义:当任务贵到无法反复重来,局部可验证实验 + 长期经验积累 + 跨任务共享 context 是持续自我改进的关键。模型和轻量 SFT 数据将开源。
所属事件:全球首次将递归自我改进引入大模型预训练,开源 30B 模型超 Qwen3(2 条相关)→
「编程与Agent」频道最新
- 用户在 Grok 搭建静默型「参谋长」Agent:只在需要决策时才打扰你 — RachelVT42 · 2026-11-22
- 开源 AI IDE Yengi 发布:可实时对话 Blender 与 Unity 并自动修错 — mdaiWorks · 2026-11-22
- Gemini 4 Neon 登顶 Bug Hunt 榜,三种运行方式横评 — PawelHuryn · 2026-11-22
- 针对 MCP/SKILL.md 编程智能体的假 USDC 悬赏蜜罐攻击现身 GitHub — Upbeat-Bus2143 · 2026-11-22
- 非形式化验证:用 System One 模型为 Agent 工作流建立认知信任 — LauraRuis · 2026-11-22
- NotebookLM + Antigravity 组合:4 个提示词把研究缩到几分钟 — aftahi_ai · 2026-11-22