IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建
rupspace · x · 2026-10-23
IFM 开源了支撑 K2 Horizon 六个领域专家模型的后训练基础设施 RL360(GitHub 已放出代码),关键数字:8192 个并发沙箱、7 天 150 步、约 130 万 rollouts。
核心问题:长时程 agentic RL 需要数千个 agent 在真实沙箱中执行耗时数分钟的任务,部分沙箱会中途崩溃——而崩溃上报的分数与答错一样,相当于模型因系统故障被惩罚而非自身错误。IFM 指出,在这个规模下,区分环境故障与模型真实失败本身就是学习算法的一部分。
架构上 RL360 采用模块化设计:Miles 负责 rollouts 与优化、Harbor 管理 agent 环境、SGLang 做推理服务、Megatron-LM 跑训练,各组件可独立演进扩展。官方还分享了大规模运行中踩过的坑与经验。转发评论特别称赞了这一工程量,并强调基础设施故障直接影响训练正确性这一点。
所属事件:IFM 开源 RL360 大规模 Agent RL 训练基建(3 条相关)→
「Infra」频道最新
- SpaceX 拟接入 8 万座美国基站，博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源：AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23
- Liquid AI 发布 RIPL 推理引擎：端到端响应快至 50ms 内 — JosephJacks_ · 2026-10-23