Together AI 发布 TKCC:24 小时两节点跑出 1200+ TPS 推理优化

simran_s_arora · x · 2026-11-05

Together AI 发布 Together Compiler(TKCC),号称首个针对「多态推理」时代的持续推理优化系统,由离职读博 16 个月的 Reyna Abhyankar 主导从零搭建。

核心信息:

定位:面对新模型频繁发布、架构多样、流量分布多变的工作负载,现有系统在「持续编译」上存在测量吞吐与保真度的两难——agent 优化单个 kernel 用离线基准,但 MoE 等数据依赖原语导致计时失真;直接优化端到端引擎则启动太慢。
方案:提出 Tiered Persistent Engine,把引擎启动开销与前向计算解耦;并用成本模型选择并行配置作为优化起点。整体是一个持续运行的 agent 爬山循环。
成绩:针对具体工作负载生成专项优化,在 InferenceX 基准上取得 MiniMax M3.1 Flash 1100+ TPS、DeepSeek v4.1 Flash 1200+ TPS,仅需 24 小时、每模型 2 个节点。
迭代过程:团队从最初无休止改 Inductor(降到 PTX、改 PTX、重编译)「自动生成 megakernel」起步,中途废弃了多版方案,才做出能扩展到 Together 生产推理的当前系统。

论文已发布在 alphaXiv,作者之一 Simran Arora 强调在模型与 agent harness 快速迭代背景下做基础设施的独特体验。

「Infra」频道最新