Together Compiler:智能体持续编译,推理优化实验提速 252 倍
simran_s_arora · x · 2026-11-05
Together AI 研究团队发布 Together Compiler(TKCC),一个已部署在部分推理集群上的生产级「持续编译」服务,让智能体随工作负载、模型和硬件的变化持续自动寻找最高效的推理运行时。
要点:
- 背景:OpenRouter 上 80% 流量流向最近三个月发布的模型,前十大热门开源模型各用不同架构,客户行为不断变化——传统「静态推理」(手调配置的推理引擎)跟不上。
- 核心概念:作者提出从静态推理转向「多态推理(Polymorphic Inference)」——推理系统持续自主适应负载、硬件与模型,兼顾规模、利用率与经济性。
- 数据:智能体每小时可尝试的优化实验数量比以往提升 252 倍,吞吐显著提升;服务已在生产环境持续优化其推理栈。
所属事件:Together AI 发布持续编译器 TKCC，Agent 自动优化推理(27 条相关)→
「Infra」频道最新
- Cloudflare Durable Objects 调用自动重试,最多 4 次无需自写重试逻辑 — dinasaur_404 · 2026-11-06
- 科技股单日蒸发 3.2 万亿美元,Nvidia 跌 9.3%,数据中心或受地方严审 — rohanpaul_ai · 2026-11-06
- 瑛太 Huang 新视频拆解 LLM Serving：让推理更快更便宜的关键技术 — jbhuang0604 · 2026-11-06
- 美国 BIS 再延期:实体清单关联方终端用户管制暂停延至 2027 年 1 月 — pstAsiatech · 2026-11-06
- Meta 提出 Axia：少量试跑即可学到推荐排序模型的 scaling law — _reachsumit · 2026-11-06
- 剔除数据中心设备后,美国贸易逆差占 GDP 仅 0.7%,为 2000 年以来最低 — soumitrashukla9 · 2026-11-06