RSIBench-Infra: Can Agents Optimize Their Own Training and Inference Infrastructure at Production Scale?
Hanlin Wu, Yifei Wang, Zhicheng Cai, Huan-ang Gao, Wei-Ying Ma, Ya-Qin Zhang, Jingjing Liu, Hao Zhou
cs.LG
2026-11-18
RSIBench-Infra把20个官方配方做成基线,Agent在8小时内跨引擎、内核与指令改栈,130次计分里有66.2%过独立质量门并超过1.10倍,Astra全套中位加速1.3335倍。
现有 Agent 优化基准大多停在单层。KernelBench、FlashInfer-Bench、PTXBench 看 kernel 对不对、快不快;VibeServe 和 InferenceBench 看时限内能不能写出推理服务。端到端吞吐取决于多层咬合,一层的局部加速经常到不了请求出口。
常用 LLM 服务引擎大约只有理论上限的 22%–38%。2026 年全球 AI 基础设施开支估算约 4870 亿美元,加速器产能却紧。递归自我改进(RSI,系统用自己的 rollout 和参数更新去迭代自己)每一轮都吃推理和训练。
字节 Seed 与清华 AIR 的 RSIBench-Infra 把问题收成可测的形式:Agent 从官方配方出发,在最多 32 卡的生产形态负载上,能不能交出过质量门的端到端加速。
套件有 20 个任务,16 个推理、4 个训练。模型从 Qwen3-TTS 1.7B 到 Kimi K3 2.8T,覆盖语言、多模态、视频、语音和动作。七组引擎:SGLang、SGLang Diffusion、vLLM、vLLM-Omni、TensorRT-LLM、SkyRL、verl。硬件从 1 卡到 32 卡,含 NVIDIA GPU 与昇腾 NPU。
任务是三元组:指令、官方配方做成的可运行环境、独立验证器。准入核对接口和质量。语言与视觉语言用 GSM8K、LongBench v2 或 MMMU,生成类对参考输出或语音,训练用冻结输入回放,对照逐步 loss 和梯度范数。准入基线不被当作最优。
Agent 能改引擎、kernel 和指令,提交物必须是一个 OCI 镜像层加启动脚本。OCI 层是容器规范中的文件系统差分,用来装 git patch 盖不住的跨目录改动。Serve/Train Job 在干净环境套用同一层、同一 digest。Benchmark Job 不加载该层,只走对外接口测质量和性能。另有审查专查负载捷径和约束违规。
加速比等于提交吞吐除以同一协议下的官方基线。失败记 0,变慢保留小于 1 的比值。Faster 指严格大于 1.10 倍。解析 SOL 由 AISimulate 按算力、带宽和精度估计,基线记 0.5,触及上限记 1。单卡 H20 的 Lite Set 五题为 Qwen3.8-27B、Muse-Glimmer-30B、Qwen3-VL-32B、LLaDA2.1-mini、Wan2.2-TI2V-5B。
七组配置各有 8 小时,reasoning 为 max,上下文 1M token。Astra 用 Codex,Claude Opus 5.5 用 Claude Code,其余用 OpenCode。每对只跑一次。Kimi K3 一例为 256k 上下文、4 节点 32 卡,回放 Terminal-Bench 2.1 的 894 条请求、20 个会话,固定 1 小时、并发 1。训练按完整 step 计。
130 次正式计分里,86 次超过 1.10 倍,占 66.2%。六组完整 20 题中,GPT-6 Astra 的 Faster 为 16/20,中位加速 1.3335 倍。
| 配置 | Faster | 中位加速 | 平均 SOL | 用时 | Token(M) |
| GPT-6 Astra | 16/20 | 1.3335× | 0.667 | 3:36 | 493.12 |
| Claude Opus 5.5 | 8/10 | 1.3431× | 0.711 | 3:25 | 1135.86 |
| GLM-5.3 | 14/20 | 1.2772× | 0.626 | 5:26 | 1231.40 |
| Qwen3.8-Max | 14/20 | 1.2107× | 0.577 | 6:53 | 835.37 |
| DeepSeek V4 Flash | 12/20 | 1.2846× | 0.614 | 6:29 | 947.11 |
| Kimi K3 | 12/20 | 1.1277× | 0.627 | 5:09 | 755.89 |
| Seed Evolving | 10/20 | 1.0933× | 0.570 | 5:42 | 719.61 |
Claude 只计 10 题,其余被 API 安全策略拦下,聚合里全部排除。它和 Astra 都是 80%,分母不同,中位加速和 SOL 见上表。
单题可以很高。Astra 给 GLM-5.3 加了小头稀疏注意力 kernel,1.7958 倍。Qwen 在 Inkling 上叠原生 MTP(多 token 预测,用于投机解码)、更大的 GPU KV 池和分层主机缓存,3.3276 倍。Claude 的 LLaDA 用块因果 prefill、向量化解码和状态复用,6.1062 倍。
图编译 35 次里 31 次 Faster(88.6%),缓存或内存 39 次里 31 次(79.5%),投机解码或 MTP 23 次里 22 次(95.7%)。特化 GEMM/GEMV 的 15 次全部 Faster,算子融合 20 次里 15 次。GLM 与 Qwen 的改动计数为 62 和 61,Faster 仍是 70%。
44 次没到 Faster:35 次为正分且不超过 1.10 倍,9 次为 0。零分含 4 次部署失败、4 次质量门未过、1 次合规拒绝。Qwen 的 SFT 原始比 1.2540 倍,质量门未过,记 0。Seed 的 TTS 过了语音门,因改动 repetition penalty 被拒。
官方基线离解析 SOL 常常很远。GLM-5.2 只占解析参考的 0.0197,并标了前缀平均外推;Kimi K3 为 0.1303,DeepSeek V4 Flash 为 0.1483。LingBot World 为 0.6993,Muse-Glimmer 为 0.6720。平均 SOL 不宜当成硬件利用率。
Lite 五题跑满者里,Qwen3.8-Max 的平均 SOL 0.670 最高,Astra 0.641,GLM-5.3 0.643。Claude 只覆盖三题,0.798 不能与五题并列。
六个标价齐全的配置里,Faster Rate 前沿是 DeepSeek、GLM、Astra,中位加速前沿是 DeepSeek 和 Astra,平均 SOL 前沿再加上 Kimi(0.62667,略高于 GLM 的 0.62639)。输入按普通 prompt 价,不含缓存折扣。Astra 和 Claude 平均只用掉 8 小时预算的约 45% 与 43%。
测的是官方配方改完后,吞吐高了多少、质量还在不在。66.2% 的提交能超过 1.10 倍,说明 8 小时内,编程 Agent 经常改得到缓存、图编译、MTP、融合和特化矩阵乘。迁到相近负载,就是更高的服务容量,或同样输出更少的卡时。
中位加速大约 1.09 到 1.34 倍,属于渐进改进。6.11 倍出在 LLaDA 这种扩散语言模型上,不能当成普遍倍数。负载和质量门固定之后,剩下的就是软件栈能不能把 RSI 的一轮变短。
每对只跑一次,没有置信区间,也没有预算对照。名次是这套题上的点估计。80% 和 70% 只差两题。
Claude 缺的 10 题是 API 安全策略,不是任务失败。用它的 1.3431 倍和 0.711 去跟 20 题全套比,覆盖会被高估。
解析 SOL 不是实测峰值。GLM-5.2 的基线只有解析参考的 1.97%,还做了前缀外推。占比可以很低,因为配方松,也可以因为通信和缓存未命中被估松了。
质量门是抽查。语言看 GSM8K 或 LongBench v2,视频和动作看参考一致性,训练看 loss 与梯度范数。改 repetition penalty 这种事,要额外合规审查才抓住。并发 1、窗口 1 小时只写明在 Kimi K3 上,对不上线上高并发。也没有工程师在同样 8 小时里的对照。
9 个零分里 4 个是没部署起来。OCI 层要装源码、依赖和编译产物,交不出层就没有成绩。Astra 和 Claude 平均不到 4 小时停手。看不出是没有下一处瓶颈,还是一出加速就交卷。