Together Compiler:Agent 持续编译优化 AI 推理,吞吐提升 252 倍
simran_s_arora · x · 2026-11-05
Together AI 研究负责人 simransarora 发布 Together Compiler——面向 AI 推理的「持续编译」系统。
核心观察:现代推理负载是「多态」的——OpenRouter 上 80% 流量流向最近三个月发布的模型,十大热门开源模型各用不同架构,客户使用行为不断变化。Together Compiler 用 agent 持续优化部署,随变化即时调整。
研究亮点:
- 252 倍吞吐提升:TKCC 让 agent 每小时可尝试的优化实验数量是先前方法的 252 倍
- 团队还发现一些意外案例:人类归纳偏置反而限制了 agent 能达到的优化上限
SemiAnalysis 的 dylan522p 转发评价称,这项工作推进了对「agent 与专家协作优化系统性能」的理解。
所属事件:Together AI 发布持续编译器 TKCC，Agent 自动优化推理(27 条相关)→
「Infra」频道最新
- Cloudflare Durable Objects 调用自动重试,最多 4 次无需自写重试逻辑 — dinasaur_404 · 2026-11-06
- 科技股单日蒸发 3.2 万亿美元,Nvidia 跌 9.3%,数据中心或受地方严审 — rohanpaul_ai · 2026-11-06
- 瑛太 Huang 新视频拆解 LLM Serving：让推理更快更便宜的关键技术 — jbhuang0604 · 2026-11-06
- 美国 BIS 再延期:实体清单关联方终端用户管制暂停延至 2027 年 1 月 — pstAsiatech · 2026-11-06
- Meta 提出 Axia：少量试跑即可学到推荐排序模型的 scaling law — _reachsumit · 2026-11-06
- 剔除数据中心设备后,美国贸易逆差占 GDP 仅 0.7%,为 2000 年以来最低 — soumitrashukla9 · 2026-11-06