InfraRSI 用递归自我改进优化训练基建：MFU 从 17.4% 提到 30%，加速至 2.75 倍

TokenRhythm · hf · 2026-11-10

TokenRhythm 与 Infiniscence 发布 InfraRSI，一个把开放式人类指令转化为「已验证训练优化」的智能体框架，将递归自我改进（RSI）引入分布式 LLM 训练基建。要点：

五阶段工作流：init 锁定可编辑范围并固定 workload/loss/时序不变量的任务契约以防 reward hacking；doctor 刻画基线阶段并校准集群噪声；run 联合优化启动参数与代码补丁并与基线复验、把发现写入跨硬件经验库；report/apply 审计源路径、追踪失败试跑成本并提交被采纳的变更。
全局建模而非贪心：从多样化经验种子配置初始化，跨所有试跑（含 OOM）拟合执行时间与删失峰值内存模型，为每个配置定价内存成本、用实跑修订失准的 LLM 先验，并把高内存优化与省内存方案配对。
效果：在 4 个单/多节点 dense 与 MoE 工作负载上最高 2.75 倍加速，平均 MFU 从 17.4% 提升至 30.0%，超过现有调优器与编码智能体，且经验可跨 GPU 迁移，形成「运行内在线修订先验 + 跨集群蒸馏经验」的双层 RSI 循环。

「编程与Agent」频道最新