Together AI 发布 TKCC:agent 持续编译推理,Llama 1B 超手写 Megakernel 1.7 倍
realDanFu · x · 2026-11-05
Together AI 团队(Daniel Fu、Simran Arora 等)发布论文《Together Compiler: Continual Compilation for AI Inference》,介绍面向 AI 推理优化的首个真正的持续性 agent 循环系统 TKCC。
- 背景痛点:新模型发布频繁、架构多样化、流量分布多变,现有系统在"持续编译"上受限于测量吞吐量与保真度的取舍——用离线 benchmark 优化单个 kernel 保真度低(MoE 等数据依赖原语尤其如此),直接优化端到端引擎则启动太慢。
- 关键设计:(1) Tiered Persistent Engine,把引擎启动开销与前向计算解耦;(2) 用成本模型选择并行配置作为优化起点。
- 还对 agent 上下文管理做了大量消融实验,并分享生产部署经验。
- 结果:在 Llama 1B 主力工作负载上比高度优化的手写 Megakernel 快至多 1.7 倍,在最新前沿模型(Kimi K3、GLM 5.3 等)上超过最优开源引擎。
- 作者将其定位为迈向"多态推理(polymorphic inference)"未来的第一步,并配有博客阐述研究议程。
所属事件:Together AI 发布持续编译器 TKCC，Agent 自动优化推理(27 条相关)→
「Infra」频道最新
- Cloudflare Durable Objects 调用自动重试,最多 4 次无需自写重试逻辑 — dinasaur_404 · 2026-11-06
- 科技股单日蒸发 3.2 万亿美元,Nvidia 跌 9.3%,数据中心或受地方严审 — rohanpaul_ai · 2026-11-06
- 瑛太 Huang 新视频拆解 LLM Serving：让推理更快更便宜的关键技术 — jbhuang0604 · 2026-11-06
- 美国 BIS 再延期:实体清单关联方终端用户管制暂停延至 2027 年 1 月 — pstAsiatech · 2026-11-06
- Meta 提出 Axia：少量试跑即可学到推荐排序模型的 scaling law — _reachsumit · 2026-11-06
- 剔除数据中心设备后,美国贸易逆差占 GDP 仅 0.7%,为 2000 年以来最低 — soumitrashukla9 · 2026-11-06