Together Compiler 发布：Kimi K3 推理吞吐最高提升 2.7 倍
togethercompute · x · 2026-11-10
Together 推出 Together Compiler（TKCC），定位为首个「持续编译」推理优化系统，主打 Polymorphic Inference（多态推理）。
核心问题是推理工作负载的高度异构：OpenRouter 前 10 开源模型没有两家用相同架构；Together 每天服务数万亿 token、数千客户，流量形态各异；硬件横跨 H100/B200/B300/NVL72 等。传统人工编译器优化无法覆盖这些组合，而 agentic 优化系统又受限于实验速度。
官方基准显示，与最好的 InferenceX 配置相比（在 NVIDIA B200/B300 上，用户速度不变的前提下）：Kimi K3 吞吐提升 2.7×、GLM-5.3 提升 1.8×、DeepSeek V4.1 Flash 提升 1.8×、MiniMax M3.1 Flash 提升 1.5×。
「Infra」频道最新
- Revolut 优化后 AI 编码账单降 90%：256K 上下文够用 — alvelda · 2026-11-10
- 6-8 千加元预算跑本地大模型：M5 Ultra 96GB 还是自组大内存 PC？ — EfficientDivide1572 · 2026-11-10
- 业界热议 ASIC 时代来临:推理需求推动公司自研芯片 — ai · 2026-11-10
- 涉「中国间谍」公司两年购入近 50 亿美元 Nvidia 芯片 — AIFlow_ML · 2026-11-10
- SGLang Summit 议程:LinkedIn 万级 QPS 广告排序、Vera Rubin 适配 — ying11231 · 2026-11-10
- 26 人团队发 212 页论文,提出可暂停前沿 AI 十年的「硬接线暂停」方案 — DavidSKrueger · 2026-11-10