SGLang团队开源Miles v0.1:64卡训744B模型,每步263秒
aigclink · x · 2026-09-13
SGLang 系团队开源了生产级后训练框架 Miles v0.1，把企业自训专属模型从「烧钱赌博」变成工程问题，Docker 一键起，换上自有数据和任务即可训练。
核心能力
- 主打 agentic RL：让模型在真实环境反复试错，学会用工具、操作终端、完成多步任务，目标是「能干活」而非「会聊天」。
- 支持千亿级模型：论文案例中 GLM-5.2（744B-A40B） 跑终端编程任务，64 张 NVIDIA GB300，前 30 步中位步时 263 秒。
- 稳定性：针对大规模 RL 跑到一半崩溃的痛点做了优化，Modal 评价「长时间运行一直很稳」。
- 一套框架覆盖 SFT、RL、蒸馏、LoRA，并扩展到 diffusion 模型。
- 数据本地化：权重与训练记录全在自己手里，适配金融、医疗、政府等客户。
- 支持 DeepSeek、Qwen、GLM、Kimi、Gemma、Nemotron 等主流模型，N 卡与 AMD 卡均可跑。
- 已被 Periodic Labs（几千卡训万亿参数）、Modal、IBM、Decagon、Nebius 在生产环境使用。
作者认为创业公司可认真考虑做垂直模型，大企业私有化训练成本风险可控，AI 服务商/FDE 或迎来新市场。
所属事件:SGLang团队开源生产级后训练框架Miles v0.1(2 条相关)→
「Infra」频道最新
- effect-harness + Cloudflare：agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- 谷歌 Project Suncatcher 太空 TPU 首次在轨运行并返回结果 — sundarpichai · 2026-10-31
- Together AI 推出 Post-Training 平台:Agentic RL 训练托管服务 — togethercompute · 2026-10-31
- General Compute 融资 1 亿美元投推理算力，CoreWeave 股价同周创新低 — YvesMulkers · 2026-10-31
- 分析师警告 AI 算力「越买越涨」正反馈环,Kioxia 闪存涨价预警引发闪崩 — bookwormengr · 2026-10-31
- SOMA 推出企业级提示压缩层，宣称推理成本省 20% 以上 — markjeffrey · 2026-10-31