Together 优化服务栈，Step 3 吞吐量提升 3.5 倍

togethercompute · x · 2026-11-08

Together AI 宣布针对 StepFun 的 TTFT 与 TPS 目标优化推理服务栈，Step 3 模型吞吐量提升至 3.47 倍。优化过程中使用 agent 辅助搜索 MoE 路由、调度、内核、投机解码与稀疏注意力等方向，每项改动都经过 benchmark 验证后再进行下一项。

配图给出了 8 项叠加优化的逐步收益：MoE backend + fused router/top-k(+40%)、调度与 batching(+28%)、decode kernel 融合(+12%)、投机解码(+15%)、上下文并行稀疏注意力(+15%)、FP8 prefill(+12%)、prefill 内核(+8%)、block-union 稀疏注意力(+8%),累计 3.47×。