Together 发布持续编译器 TKCC:Agent 自动优化推理,实验效率提升 252 倍
togethercompute · x · 2026-11-05
Together AI 研究团队负责人 Simran Arora 发布 Together Compiler(TKCC),一个面向 AI 推理的「持续编译」系统,SemiAnalysis 称已独立验证其 InferenceX/AgentX 结果之一,认为其能在保证精度的同时持续自动提升性能,可直接部署到生产环境。
核心观察与设计:
- 当前推理是「多态」的:OpenRouter 上 80% 流量流向最近三个月发布的模型,十大热门开源模型各用不同架构,客户使用行为不断变化,静态优化很快过时。
- TKCC 用 agent 持续监控这些变化并即时优化部署。
- 官方亮点:agent 每小时可尝试的优化实验数量比此前方案多 252 倍,吞吐量因此大幅提升,团队正将其推广到更多场景。
所属事件:Together 发布 Compiler:Agent 数小时内自动优化推理并刷新吞吐纪录(12 条相关)→
「Infra」频道最新
- Techno Tim 自建家用 AI 平台:三块旧 GPU + vLLM + 语义路由统一入口 — JeremyCMorgan · 2026-11-05
- Marvell 自黄仁勋喊话后暴跌 46%,Gary Marcus 嘲 AI 炒股失灵 — GaryMarcus · 2026-11-05
- megakernel 合并算子,DeepSeek V4.1 Flash 在 AMD 上解码最快提速 2.27 倍 — Electronic-Ebb9771 · 2026-11-05
- Kimi K3.1 Pro 上线 Ollama Cloud：2.8T 参数、美国托管零数据留存 — ollama · 2026-11-05
- Hugging Face 公开模型优化流水线：从 profile 到 kernel 开源分发 — ariG23498 · 2026-11-05
- Reddit 网友提议:用 Agent 把碎片化自定义推理引擎拆解成可复用积木库 — nasone32 · 2026-11-05