Together 发布 Compiler:Agent 数小时内自动优化推理并刷新吞吐纪录

Together AI 研究团队于 11 月 5 日发布 Together Compiler(TKCC),获 Forbes 报道,口号是「AI 正在改进运行 AI 的系统」。据研究负责人 Simran Arora 介绍,这是首个面向生产规模的「agentic inference optimization」详细研究,配套论文与博客;新开源模型可在数小时(而非数周)内被自动优化到生产级。SemiAnalysis 称已独立验证其 InferenceX/AgentX 结果。项目由离职读博 16 个月的 Reyna Abhyankar 主导从零搭建。

已确认

• 最终成果:基于当前最优的 InferenceX 引擎配置,TKCC 在所有测试场景创下并发 1 TPS(每用户 P90 吞吐)的最新纪录,流程为先用并行成本模型筛选有效并行配置,再由最多 2 节点在 24 小时内完成探索交付峰值性能,跑出 1200+ TPS 量级的优化结果。
• 实验效率较此前提升 252 倍;MiniMax M3.1 达到 1111 TPS。
• 三大关键设计:分层持久引擎(引擎只启动一次即可热重载任意候选前向传播、无需重启)、并行成本模型,以及针对吞吐-保真度权衡的配套机制。团队还指出反馈权益的两难:低保真高吞吐的独立基准 harness 只能优化单个 kernel,但现代模型(MoE、稀疏 top-k)性能对数据高度敏感;高保真系统又测不出真实吞吐。
• 背景动因是推理负载的「多态性」:OpenRouter 上 80% 流量流向最近三个月发布的模型,十大热门开源模型各用不同架构,且流量形态每秒都在变化(用户渐进迁移到新模型、请求数量与类型突发波动),传统静态优化已过时,因此采用 agent 驱动的持续编译。
• 技术脉络:团队成员(dylanlim 等)从 ThunderKittens、Megakernels 等 AI 加速框架研究出发,目标是把逐客户手工优化扩展为数小时内交付峰值性能的自动化流程;Simran Arora 复盘指出 AI 在良定义目标(数学、工程、科学)上的爬山能力是被 agent 化编译取代手工 kernel 优化的前提。

为什么重要

• 随着新模型发布节奏加快、架构各异且流量形态瞬息万变,推理服务方难以依赖人工或静态调优;TKCC 展示了 agent 驱动编译在生产规模上的可行性,并在有限算力(最多 2 节点 24 小时)约束下刷新吞吐纪录,对推理成本与性能优化路径具有直接参考价值。

2026-11-05 ~ 2026-11-05 · 12 条相关

• 【源头】Together 推出 agentic 编译器 TKCC:实验效率提升 252 倍,MiniMax M3.1 达 1111 TPS — simran_s_arora · 2026-11-05
• Together 提出「多态推理」:流量每秒在变,静态优化已过时 — simran_s_arora · 2026-11-05
• agent 优化推理的根本两难:高保真测不出量,高吞吐测不准 — simran_s_arora · 2026-11-05
• Together Compiler 三大设计:持久引擎+并行成本模型破解吞吐保真两难 — simran_s_arora · 2026-11-05
• 【源头】Together Compiler 以最多 2 节点 24 小时刷新推理吞吐纪录 — simran_s_arora · 2026-11-05
• Together Compiler 背后:从 Megakernels 到 agent 驱动编译的演进史 — simran_s_arora · 2026-11-05
• Together 发布首个生产级 Agent 化推理优化研究 Compiler — simran_s_arora · 2026-11-05
• Together Compiler 发布:面向多态推理时代的内核持续优化系统 — simran_s_arora · 2026-11-05
• Together AI 发布 TKCC:24 小时两节点跑出 1200+ TPS 推理优化 — simran_s_arora · 2026-11-05
• 【源头】Together 推出 Compiler:新开源模型数小时内完成生产级推理优化 — togethercompute · 2026-11-05

另有 2 条近重复转述:togethercompute · simonguozirui