Together 发布推理编译器，实验吞吐量提升 252 倍
simran_s_arora · x · 2026-11-05
Together AI 正式发布 Together Compiler，一套针对「多态推理」的持续编译系统。核心观察是当今推理负载变化极快：OpenRouter 上 80% 流量流向近三个月发布的模型，十大热门开源模型各用不同架构。系统用 agent 在负载与硬件变化时持续优化部署。研究亮点包括 TKCC 让 agent 每小时可尝试的优化实验提升 252 倍吞吐，已部署于其整个推理集群。
所属事件:Together AI 发布持续编译器 TKCC，Agent 自动优化推理(27 条相关)→
「Infra」频道最新
- Cloudflare Durable Objects 调用自动重试,最多 4 次无需自写重试逻辑 — dinasaur_404 · 2026-11-06
- 科技股单日蒸发 3.2 万亿美元,Nvidia 跌 9.3%,数据中心或受地方严审 — rohanpaul_ai · 2026-11-06
- 瑛太 Huang 新视频拆解 LLM Serving：让推理更快更便宜的关键技术 — jbhuang0604 · 2026-11-06
- 美国 BIS 再延期:实体清单关联方终端用户管制暂停延至 2027 年 1 月 — pstAsiatech · 2026-11-06
- Meta 提出 Axia：少量试跑即可学到推荐排序模型的 scaling law — _reachsumit · 2026-11-06
- 剔除数据中心设备后,美国贸易逆差占 GDP 仅 0.7%,为 2000 年以来最低 — soumitrashukla9 · 2026-11-06