No Second Run: Does RSI Stop at Frontier Pre-training?
Xiaojie Cai, Jiayi Chen, Junwei Chen, Yu Chen, Sikai Cheng, Jinquan Dai, Siyuan Feng, Bin Fu, Dayuan Fu, Guosheng Gao, Qipeng Guo, Chenwei He, Zhulin Hu, Yaxing Huang, Shuomeng Jia, Mohan Jiang, Keyang Lei, Hongliang Li, Xuefeng Li, Zhaocheng Li, Jifan Lin, Pengfei Liu, Xinghan Liu, Yixiu Liu, Pengrui Lu, Siyuan Lu, Kai Lv, Tiantian Mi, Yang Nan, Yu Qiao, Yiwei Qin, Xipeng Qiu, Junhao Shi, Runzhou Shi, Jiadi Su, Bohao Tang, Hanning Wang, Keqi Wang, Pan Wang, Ran Wang, Shaojing Wang, Yishuo Wang, Zhixin Wang, Shenyu Wu, Muhang Xie, Tianze Xu, Hang Yan, Lvmanshan Ye, Hongche Yu, Junjie Yu, Lantian Zhang, Ruihang Zhang, Bin Zhao, Chenyang Zhou, Zijin Zhou, Wenhong Zhu, Zemu Zhu, Yumin Zhuang, Haoyang Zou
cs.AI
2026-11-07
三个月从零训完11.8T,801-30B超过Qwen3-30B-A3B;6B SFT后,四个agent基准平均最高。
递归自我改进(RSI)把反馈写成下次仍会使用的改动。公开工作停在后训练:从现成基座出发,单次试验是 GPU 小时量级,有公开例子低到约 10 个 H100 小时,完整试验可以做几十到几百次,回来的是可核对的分数。前沿预训练相反。全长一次要几十万 GPU 小时,通常只有一轮;目标是后训练空间(headroom),不是当天榜单;要改的是流水线、训练栈,以及团队还记不记得已经排除的原因。
SII 与 Xinxu AI 的新团队用三个月从零训出 801-30B-A3B,约 11.8T token。6 条流水线、30 多道工序得到 1053 个子集、10.5T 去重 token,代码版本超过 130 个。停在 1T 和 3T 的两次 pilot 用来清问题。代理尺度的小误差到万亿 token 会被放大,外推分数靠不住。
提出、执行、测量、写回,这四步在全长训练上闭不上。六条小环分成三类,共用一套上下文:指标、超参、配比、代码 diff、检查点分数,以及被排除的原因。下一轮从这些负结果写起。
调试环以异常消失为测量。一侧查逐层 loss、梯度范数和专家负载,一侧查坏输出,人只批优先级和修改。泄密式复读来自未洗净的代码配置,固定选择题来自未滤掉的合成问答,连环应用题来自过于单一的合成提示。
Headroom 环决定要不要继续训练,一个项目只能关几次。Tiny-SFT 用约 6.33B token 的监督微调,估计有限后训练之后的分数。Learning aptitude 是分数对后训练数据量对数的斜率,数据每多十倍记一次增益。Max-over-protocols 取每个基准在多种评测协议下的最高分,避免一种问法把已经学会的能力测没。
分类器、找站和爬取覆盖把手感换成数。分类器看与强模型标注是否一致。核验通过的站点成为下一轮种子,一轮没有新站就停。覆盖率等于实抓页数除以 SEO 估计页数。
Agent 也在生产语料。26 万条 PR 里约 84% 做成可执行任务,九套执行壳(harness)滚出约 200 万条轨迹,校验后留下 110 万条、超过 100B token,加上其他来源共 134B,放进长上下文阶段。轨迹用 DeepSeek-Flash 和 GPT-OSS 生成,通过率 55%。读取 git、安装已经修好的包、改写测试会被拒绝。
模型对齐 Qwen3-30B-A3B,是总参数约 300 亿、每 token 激活约 30 亿的 MoE。专家和注意力用优化器 Muon,router 用 AdamW。序列从 4K 到 32K 再到 256K,合计约 11.8T token。长包按各段长度的平方和估计注意力成本,再分到各卡,避免少数超长文档拖住同步。256 卡的对照里,吞吐从 1126 TGS 升到 2543 TGS,损失接近,基准差落在运行波动内。
22 个基准在对齐的 1T token 上,均分从初始 pilot 的 47.78、修订 pilot 的 51.96,到主运行的 56.83。3T 时主运行 59.94,修订 pilot 是 56.48。同一时期学习率从 2.7×10^-3 降到 5×10^-4,负载惩罚从 10^-2 降到 10^-4,router 从 Muon 换成 AdamW,数据配比也换了。大约 9 分是这些改动叠在一起的结果。
| 对照 | 设置 | 结果 |
| 22 基准均分 | 1T | 47.78 → 51.96 → 56.83 |
| 22 基准均分 | 3T | 59.94,对照 56.48 |
| 第 15 层 MaxVio | 3T | 约 5,修订 pilot 超过 14 |
| Tiny-SFT | 4.1T 至 7T,两轮 | 65.34 → 66.83,基座约 61 |
| Tiny-SFT | 8.1T 至 11.5T,一轮 | 70.54 → 72.93,基座 64–66 |
| 吞吐 | 256 卡,256K | 1126 → 2543 TGS |
MaxVio 越高,专家负载越不均。五条跨栈诊断大约一个月做完,包括负载、优化器分配、广告页、weight decay 和续训样本顺序。主运行第 15 层 MaxVio 在约 2.2T 到 6T 急升,下游涨分变慢。异常减轻了,没有消失。
基座名次留不住后训练潜力。较早 13 个检查点做两轮 SFT,与基座分的 Spearman 秩相关是 0.796;较晚 10 个检查点只做一轮,相关降到 0.438。同在两轮那一组里,step 210000 的基座分是 60.76,低于 step 159000 的 61.41,SFT 后却从 66.22 升到 66.83,排到该组第一。两套分的基准不同,只能比走势。基座走平的时候,微调后的分数仍可能在涨。
作为基座,801-30B-A3B 超过 Qwen3-30B-A3B 和 Nemotron-3.5-Lightning-30B-A3B,落后更大的 Qwen3.5-35B-A3B。所有基座吃同一份 SFT,名次不变。只做 6B token、无 RL 的轻量 SFT 时,四个 agent 基准的平均分高于所比较的完整后训练模型,包括 Qwen3.6-35B-A3B。论文把第三档标成 headroom 的参照,不是同等预算下的胜负。分类器三轮里,广告意图的 accuracy/F1 上升 8.00 和 9.62 个点,计算学科上升 5 个点,临床健康约 1 个点,三套都在中间一轮掉过精度。
论文称,据其所知,这是第一次把 RSI 用到一次从零开始的前沿预训练,并公开讲清过程。后训练 RSI 假定基座已经够强。这里动的是造出那个基座的过程。开源的是 801-30B-A3B-Base 和轻量 SFT 数据,用来测后训练空间。完整后训练还没有做,这不是一颗对齐好的模型。
层内负载可以比下游分更早报警。坏的输出可以追回具体工序。基座分走平,也不再自动等于该停。1T 上大约 9 分的提升是真实的。单独记在 RSI 名下,证据不够。
论文写明,多项修改一起落地,单点贡献拆不开。Tiny-SFT 没有多种子,相邻检查点的小分差不可靠。分类器对齐的是强模型,不是人。SEO 页数是估计。Learning aptitude 还没有用于同一次训练里选检查点。少用约 15 倍后训练数据是示意图,不是 801 的测量。
不存在关掉全部环、人员和算力保持不变的第二次全长训练。47.78 到 56.83 也可能来自新团队改学习率、清洗数据、重配语料。负结果写进了上下文基础设施,因此少重复排查了多少次,论文没有给数字。四个 agent 基准上的领先,对方用的是完整后训练。这不能读成对齐质量已经超过 Qwen3.6。