Together Compiler 以最多 2 节点 24 小时刷新推理吞吐纪录

simran_s_arora · x · 2026-11-05

Together 团队公布 Together Compiler 的最终成果:基于当前最优的 InferenceX 引擎配置,在所有测试场景创下并发 1 TPS(每用户 P90 吞吐)的最新纪录。流程是先用并行成本模型选择有效并行配置(若干选择不同于现有 InferenceX 配置),再让 Together Compiler 在每模型最多 2 个节点上运行 24 小时。配图显示相比 InferenceX best 的提升:MiniMax-M3.1-Flash(B200)从 633 提到 1111 TPS/用户,DSV4.1-Flash(B200)671→813,DSV4.1-Flash(GB300)943→1205,GLM-5.3(B200)329→417,K3(GB300)423→450,GLM-5.3(MI355X)463→480。