Rufus-Air: An Open LLM Post-Training Recipe
Chia-Yuan Chang, Renyuan Cheng, Rui Feng, Xiaotian Han, Yuan He, Hongye Jin, Linwei Li, Shiyang Li, Fenglin Liu, Xin Liu, Priyanka Nigam, Haoyang Wen, Zhenghao Xu, Zhuocheng Xu, Bing Yin, Qingyu Yin, Chao Zhang, Rongzhi Zhang, Zhihan Zhang, Zixuan Zhang, Zixuan Zhang, Tuo Zhao
cs.CL, cs.AI, cs.LG
2026-09-24
Amazon 从公开 GLM-4.5-Air-Base 出发，串行跑完 SFT、推理与代码 RL、指令跟随、三类 Agent 和 RLHF。全程用公开数据与开源栈、不新标人工。成品 IFBench 76.9 对官方后训练版 33.6，LiveCodeBench v6 76.4 对 59.6。
开源权重把后训练门槛降下来了，但配方本身还是薄。多数技术报告把后训练写成系统卡：列几个阶段名、贴一张总表，真正要复现的数据构成、奖励怎么设计、阶段为什么这么排、训练栈踩过哪些坑，几乎不写。Tülu 3 这类例外很少。
Amazon 这组人拿公开的 GLM-4.5-Air-Base（106B 总参、12B 激活）从头走完一条可复现的后训练流水线，叫 Rufus-Air。全程用开源组件和公开数据，不新标人工、不自建蒸馏教师。对照基线是官方自己的后训练发布版 GLM-4.5-Air，以及同一底座的 INTELLECT-3。
八个阶段串行，后一段吃前一段的 checkpoint：SFT、推理 RL、代码 RL、指令跟随 RL、通用 Agent、代码 Agent、搜索 Agent、RLHF。
排序有两条轴。能力上从基础到进阶。奖励上从难被 hack 的可验证信号，走到更软的 judge 和偏好模型。指令跟随 RL 用了 rubric judge，却排在 Agent 之前：指令跟随离模型已会的事很近，judge 可被钻的空不大。真正危险的是开放目标上的偏好奖励，所以 RLHF 放最后。
几个反复出现的工程选择：
SFT 在 64 个 8×H200 节点上跑约 13 天。推理 RL 8 节点，代码 RL 32 节点，Agent 阶段 16 节点。
SFT 单独就已经能打官方后训练版：
| 指标 | 官方 GLM-4.5-Air | Rufus-Air SFT |
| IFEval | 83.00 | 88.33 |
| IFBench | 33.60 | 57.75 |
| AIME 25 | 84.20 | 90.83 |
| GPQA | 73.90 | 68.18 |
SFT 在 GPQA 上落后 5.7 分，后面的 RL 把这个缺口补上。成品相对官方发布版：
| 指标 | Rufus-Air | 官方 GLM-4.5-Air |
| IFBench | 76.9 | 33.6 |
| IFEval | 95.4 | 83.0 |
| Multi-challenge | 65.8 | 36.0 |
| LiveCodeBench v6 | 76.4 | 59.6 |
| SWE-bench Verified | 65.6 | 50.6 |
| BrowseComp | 37.1 | 22.7 |
| HLE-Verified Gold | 51.1 | 20.2 |
| Arena-Hard v2 Creative Writing | 53.0 | 60.3 |
单阶段最大涨幅：指令跟随 RL 的 Multi-challenge +24.7，RLHF 的 Creative Writing +14.4，通用 Agent 的 Tau2-Retail +9.8。代码 Agent 因算力提前停，Terminal-Bench 2.1 只 +1.4、SWE-bench +2.2，而且 SWE-bench 的增益没撑到最终 checkpoint（67.8 回到 65.6）。
对能拿到几十台 H200、想自己后训练开源底座的团队，这是一份能按阶段抄的施工图，不是一张成绩单。四个可带走的判断：SFT 质量决定 RL 地板；难度过滤比换 RL 目标更管用；阶段顺序按奖励可被 hack 的程度排，不按任务名排；基础设施（token 保真、sandbox、路由回放）写进配方，不当实现细节藏起来。
跟 INTELLECT-3 比的是同一底座上换配方。跟 Nemotron-3-Super 比，领先集中在指令跟随和 Agent，数学和科学知识几乎打平。配方把信号砸在哪，分数就往哪走。
作者自己写明：阶段顺序是先前实验和算力预算塑出来的，没有证明最优，也没试过分专家再蒸馏合并。代码 Agent 没训到收敛。没有一套评测贯穿全部阶段，SWE-bench、Terminal-Bench、Seal-0 在中间阶段和最终模型之间的变动无法归因。
另外几处读下来站不太稳。SFT 去污染靠 8-gram 和检索，作者承认排不干净语义改写。搜索 Agent 的奖励只要求至少两次成功工具调用，记答案再随手搜两下这条捷径没有从奖励里封死。Creative Writing 仍然落后官方 7.3 分，RLHF 用的是通用 Skywork 奖励模型，没有针对文风。Tau2 用了自己重写的 harness 和 Claude 用户模拟器，和官方实现不是同一套。