60人团队首次把 RSI 引入前沿预训练,3个月训出超 Qwen3 的 30B 基座
burny_tech · x · 2026-11-19
arXiv 论文《No Second Run》声称首次把递归自我改进(RSI)应用于一次完整的前沿预训练 run。要点:
- 为什么预训练难做 RSI:一次 run 消耗数十万 GPU 时、耗时数月且不可重复;目标(post-training 提升空间)无法从单一分数读出;要改进的不是模型而是整个生产系统(数据管线、训练基建、团队)。
- 方法:既然端到端闭环无法闭合,就把 RSI 拆解成多个可闭合的小循环,每个修复完整 run 中断裂的一步。论文列出了五类跨栈诊断修复:负载均衡(改用 global-batch load balancing)、优化器模块分配(Muon/AdamW)、数据质量(过滤广告和低质网页)、weight decay 排除 normalization/bias 参数、data loader 恢复采样顺序。
- 成果:801-30B-A3B,30B-A3B MoE,由新组建团队从零在 11.8T token 上训练三个月。作为基座模型超越 Qwen3-30B-A3B 和 Nemotron-3.5-Lightning-30B-A3B,仅次更大的 Qwen3-35B-A3B;轻量 SFT(6B token,无 RL)后在四个 agentic benchmark 上平均分超过全部完全后训练模型,包括 Qwen3-6.5-35B-A3B。
- 模型与轻量 SFT 数据已开源。
所属事件:60人团队首次将 RSI 用于前沿预训练,3个月训出 30B MoE(2 条相关)→
「模型」频道最新
- Arena 推出 Agent Arena Index:近 300 万真实会话衡量 agent 实战能力 — infwinston · 2026-11-19
- RadixArk 发布 DaisyRose-27B:18 天 RL 后训练将 Terminal-Bench 4.1 从 5.6% 提到 12.0% — BanghuaZ · 2026-11-19
- GPT-6.2 生成颗粒纹理竟复用 1992 年教科书随机数代码 — every · 2026-11-19
- KradleBench 经济维度:DeepSeek V4.1 Flash 成开源模型最好成绩 — dansitu · 2026-11-19
- Gemini 4 三款模型霸榜 BrushArena 前四,图像生成审美引热议 — teortaxesTex · 2026-11-19
- Astra 数学证明不走寻常路:自创 capacity 概念绕开三大 Mathlib 深定理 — IgorCarron · 2026-11-19