Together Compiler：AI Agent 持续调优推理，TPS 最高提升 2.6 倍
simran_s_arora · x · 2026-11-05
Together AI 发布 Together Compiler（TKCC），一个由 agent 驱动的持续推理优化系统，随生产流量变化不断重新调优 forward pass。
核心机制
- 持久化 serving engine：引擎只启动一次，agent 编写的 forward pass 热加载、无需重启，获得比每次重启多 252 倍的实验次数
- 双层评估：12 层快速筛选候选，60 层慢速在真实流量上确认收益
- 原始 engine 源码让 agent 把 Kimi K3 的 MLA kernel 提速 1.7–2.5 倍
成绩（均自报）
- 在 SemiAnalysis InferenceX 上，比最优开源配置最多快 2.6 倍 TPS，每模型 24 小时内完成
- MiniMax M3.1 Flash（B200，batch size 1）：1,111 P90 TPS/用户，为基线 633 的 1.8 倍
- DeepSeek v4.1 Flash GB300 达 1,205 vs 943
- 反例：GLM 5.3 在 MI355X 仅从 463 提到 480 TPS（约 4%）
已上线 Together serverless 端点，专用端点限量 beta，未开源。测试覆盖 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash、Llama 1B，硬件覆盖 B200/B300/GB300/H100/MI355X/Trainium2。
所属事件:Together 发布 Compiler：Agent 持续调优推理(23 条相关)→
「编程与Agent」频道最新
- FlutterFlow 推出 AI Agent 从提示词直达应用商店 — massimosgrelli · 2026-11-05
- Hugging Face 上线开源 Agent「ML Intern」帮你动手做机器学习 — Gradio · 2026-11-05
- 阿里开源浏览器 Agent qz：直接跑在你已登录的 Chrome 里 — thisdudelikesAI · 2026-11-05
- Blackstone CTO 对谈：模型迭代太快，与其维护不如整个推倒重建 — AI Engineer · 2026-11-05
- Rentcast MCP Server 发布:一键接入美国房产数据与估值 API — modelcontextprotocol · 2026-11-05
- 美国能源部 EIA 数据库推出 MCP 连接器,agent 可直接查能源数据 — modelcontextprotocol · 2026-11-05