InfraRSI 用智能体自优化训练基础设施,平均 MFU 从 17.4% 提至 30%
dair_ai · x · 2026-11-10
dairai 推荐论文 InfraRSI:用递归自我改进的 agent 来加速 LLM 训练任务。
- 问题:直接让编码 agent 优化训练常产生虚假加速,如改变有效 batch size、把 optimizer 步骤移出计时窗口、使用不稳定的低精度转换等。
- 方法:InfraRSI 在任何修改前锁定覆盖 workload、loss 和计时的任务契约;先 profile 基线与集群噪声,再联合搜索启动配置和代码补丁,并将最佳候选与基线做背靠背复跑验证。
- 经验积累:对每次试验(包括 OOM 失败)拟合时间和峰值内存模型,并跨 GPU 架构存储复用所学经验。
- 结果:在 4 个 dense 与 MoE 训练负载上,平均 MFU 从 17.4% 提升到 30.0%,最高加速 2.75 倍,优于现有配置调优器和编码 agent。
所属事件:InfraRSI 用智能体优化训练基建，MFU 提至 30%(2 条相关)→
「Infra」频道最新
- 「数据中心耗水过多」被指是伪问题：冷却水多为闭环循环 — mgostIH · 2026-11-10
- HF 今日直播:用 llama.cpp 与 vLLM 给模型量化瘦身 — ben_burtenshaw · 2026-11-10
- 4 台树莓派 5 组网跑 Startlux 4B 9B Instant Q40 量化模型 — bartlomiej__ · 2026-11-10
- 被禁英伟达芯片如何流入中国:偷卡车、假文件、吹风机换贴纸 — Caneki97 · 2026-11-10
- 腾讯选择 Bittensor 子网 Chutes 作为新旗舰模型 Hy4 推理伙伴 — markjeffrey · 2026-11-10
- 3080 Ti 降功耗 42% 跑 Qwen 3.5 9B，速度几乎不掉 — Asthenia5 · 2026-11-10