Together Compiler 上线:智能体持续编译内核,推理提速最高近半
togethercompute · x · 2026-11-07
Together 推出 Together Compiler（TKCC），定位「持续编译」的 Polymorphic Inference 首个产品：由智能体持续为你的模型、硬件与流量形态自动优化内核。
为什么需要它
- 推理负载高度动态：OpenRouter 前 10 开源 LLM 没有两个用相同架构；Together 每天服务数万亿 token，每个客户的 batch size、序列长度、MoE 专家不均衡、注意力稀疏度都不同；硬件横跨 H100、B200、B300、NVL72、Groq 等，人工优化不可扩展。
- 智能体理论上适合搜索优化空间，但瓶颈在实验速度。
实测效果
- 在研究人员已高度手工优化过的 serverless 端点上，中位 TPS 仍提升 12%–20%。
- 生产客户响应与生成时间缩短约 1/3 至近一半。
由 FlashAttention、ThunderKittens、ThunderAgent 背后团队参与构建，已有 40+ 模型用于生产。
所属事件:Together 推出智能体持续编译器 TKCC，大幅加速推理(4 条相关)→
「编程与Agent」频道最新
- 游戏工作室用 AI agent 团队开发资料片：284 条消息跑敏捷冲刺 — draginol · 2026-11-07
- macOS CI 每分钟 $0.16，一台 Mac Mini 10 天回本：CI 定价或暴跌 50% — gajesh · 2026-11-07
- OpenAI API 上线 Starter Projects:涵盖智能体、语音、可视化,可在 Codex 中直接改 — OpenAIDevs · 2026-11-07
- OpenAI 开发者插件上线 Showcase 标签页,Pro/Business 订阅者可领 API 额度 — OpenAIDevs · 2026-11-07
- Google 重置 Antigravity 全员 Gemini 与 Argon 额度,方便周末继续开发 — rseroter · 2026-11-07
- GTEx MCP Server：让 AI 助手查询 54 种人体组织基因表达数据 — modelcontextprotocol · 2026-11-07