专题 · FULL STORY

Together AI Compiler：发布到实测背书

Together AI 研究团队发布持续编译系统 Compiler，宣称 Agent 持续优化推理、吞吐最高提升 252 倍。随后 SemiAnalysis 实测验证并背书其可上生产，事件线从发布走向第三方确认。

2026-11-05 ~ 2026-11-06 · 2 集 · 27 条

第 1 集 · Together AI 发布持续编译器 TKCC，Agent 自动优化推理(2026-11-05,25 条)

Together AI 研究团队（Simran Arora、Tri Dao、dylanlim 等）于 11 月 5 日发布持续编译系统 Together Compiler（TKCC），配套论文与博客，并提出「Polymorphic Inference」路线，口号是「AI 正在改进运行 AI 的系统」，获 Forbes 报道。这是首个面向生产规模的「agentic inference optimization」详细研究：新开源模型可在数小时（而非数周）内被自动优化到生产级；SemiAnalysis 称已独立验证其 InferenceX/AgentX 结果。项目由离职读博 16 个月的 Reyna Abhyankar 主导从零搭建。

已确认

  • 性能表现：基于当前最优的 InferenceX 引擎配置，TKCC 在所有测试场景创下并发 1 TPS（每用户 P90 吞吐）的最新纪录；比领先的 InferenceX 配置快最多 2.6 倍，并在客户实际工作负载上验证。流程为先用并行成本模型筛选有效并行配置，再由最多 2 节点在 24 小时内完成探索并交付峰值性能，跑出 1200+ TPS 量级的优化结果。
  • 实验效率较此前提升 252 倍；MiniMax M3.1 达到 1111 TPS；论文案例：Llama 1B 经 TKCC 优化后性能超过手写 Megakernel 1.7 倍。
  • 三大关键设计：分层持久引擎（引擎只启动一次即可热重载任意候选前向传播、无需重启）、并行成本模型，以及针对吞吐-保真度权衡的配套机制。团队指出反馈两难：低保真高吞吐的独立基准 harness 只能优化单个 kernel，但现代模型（MoE、稀疏 top-k）性能对数据高度敏感；高保真系统又测不出真实吞吐。
  • 背景动因是推理负载的「多态性」：OpenRouter 上 80% 流量流向最近三个月发布的模型，十大热门开源模型各用不同架构，且流量形态每秒都在变化（渐进迁移、请求数量与类型突发波动），为单一模型、单一流量、单一芯片一次性调优的「静态推理」时代正在终结，因此采用 agent 驱动的持续编译。TKCC 已部署在部分推理集群上，随工作负载、模型和硬件变化持续自动寻找最高效的推理运行时。
  • 技术脉络：团队成员（dylanlim 等）从 ThunderKittens、Megakernels 等 AI 加速框架研究出发，把团队两年积累的 kernel 与推理引擎优化经验封装进 agent 循环，目标是把逐客户手工优化扩展为数小时内交付峰值性能的自动化流程；Simran Arora 复盘指出 AI 在良定义目标（数学、工程、科学）上的爬山能力是被 agent 化编译取代手工 kernel 优化的前提。
  • 团队博客同时宣布 Together 端点上众多模型现已由 AI agent 全自动优化，号称全球首个生产级递归自我改进（RSI）推理系统，每日服务数万亿 token。

为什么重要

  • 随着新模型发布节奏加快、架构各异且流量形态瞬息万变，推理服务方难以依赖人工或静态调优；TKCC 展示了 agent 驱动编译在生产规模上的可行性，并在有限算力（最多 2 节点 24 小时）约束下刷新吞吐纪录，对推理成本与性能优化路径具有直接参考价值。

还有 5 条相关讨论 →

第 2 集 · SemiAnalysis 实测背书 Together 编译器 TKCC 可上生产(2026-11-05,2 条)

SemiAnalysis 在验证 InferenceX/AgentX 测试结果后，对 Simran Arora 团队开发的 Together Compiler（TKCC）给出高度评价，称其「是最酷的东西之一」，并认为该编译器具备持续自动优化能力，可以直接用于生产环境，为 Together 的推理技术提供了实证背书。