Together 推出持续编译推理优化系统，吞吐提升 252 倍
simran_s_arora · x · 2026-11-05
Together AI 研究团队发布 Together Compiler，一个面向 AI 推理的「持续编译」系统。核心观察是当今推理负载「多态化」：OpenRouter 上 80% 的流量流向最近三个月发布的模型，最热门的十大开源模型各自使用不同架构，客户用法也在持续变化。
系统用 agent 持续优化部署配置，随模型与流量变化即时调整。官方亮点：
- 吞吐提升 252 倍：TKCC 让 agent 每小时可尝试的优化实验数量比此前方案多 252 倍
- 研究负责人 Albert Gu 评价：在快速变化的模型格局中，更快适配就是最大优势
所属事件:Together 發布 Compiler：Agent 數小時自動優化推理(18 条相关)→
「Infra」频道最新
- 开发者指出：CI 成本随 token 价格水涨船高 — aniketmaurya · 2026-11-05
- Snowflake 发布 Business Ontology 与 Cortex AI Gateway,押注企业 AI 治理层 — shashib · 2026-11-05
- Ricursive 首发自训 Ripple-65B：1/10 成本拿下美国开源 Agentic 编码 SOTA — HazyResearch · 2026-11-05
- 全 Rust 本地 LLM 套件 LexiSuite 发布，部分场景超越 llama.cpp — W61k3r · 2026-11-05
- Gary Marcus 断言数据中心狂欢将崩塌：多数项目难存活 — GaryMarcus · 2026-11-05
- Merge 实测:自家 MCP 连接器比微软官方版工具更多、报错减半 — shensi · 2026-11-05