OpenAI 曝训练吞吐提升 4.1 倍、集群利用率超 95%

LiamFedus · x · 2026-09-16

OpenAI 研究者 Liam Fedus 分享了其基础设施目标「每 GPU 小时的科学产出」。在实际工作负载上，他们相对自家 Megatron 基线取得 4.1× 训练吞吐、2.5× 更快解码、95%+ 集群利用率，并将改进回馈到 Megatron-LM、SGLang 和 Miles 等开源社区。

另一条相关回复展示了实际科研收益：在 X 射线衍射分析任务上，实验室数据 + midtraining + RL 把 134 个困难样本上的成功率从 2.7% 提升到 55.3%（约 20×），由与人类专家校准过的模型评委打分，且随 RL 增加呈良好 scaling 特性。