Together 自述弃用 Megakernels:Torch Compile 意外强势催生新编译器
togethercompute · x · 2026-11-17
Together AI 发布长文,复盘其推理优化路线的转折:一年前他们是首批向世界介绍 AI megakernels(整模型级融合内核)的团队之一,如今却得出结论——megakernels 作为优化目标过于复杂,并非理想抽象,今年选择「删掉」它们。
文章脉络:
- 深入对比两种 ML 优化范式:Torch Compile 与 Megakernels;
- Torch Compile 在多个场景展现出令人意外的强势表现,动摇了团队对 megakernels 的假设;
- 两周前 Together 已基于这些实验推出 Together Compiler:用 agent 针对具体模型、芯片与流量自动调优推理,吞吐最高提升 2.6 倍;
- 作者 dylanlim 等人分享了实验过程与教训,解释下一代推理优化系统的设计思路。
这是一篇有分量的一线工程复盘,对关注推理栈优化的人很有参考价值。
所属事件:Together AI 弃用 megakernels,新编译器在 B200 上再提速 28%(2 条相关)→
「Infra」频道最新
- Together 自曝砍掉 megakernels:AI 编译器在 B200 上再快 28% — togethercompute · 2026-11-17
- 美联航曝大规模系统故障,正值全美航班禁飞令后恢复期 — shaunralston · 2026-11-17
- Cloudflare 平台开发者破千万,一年内翻倍以上 — Beth_Kindig · 2026-11-17
- NVIDIA 发布 cuPotential:分子动力学非键相互作用提速 3 倍 — AllThingsApx · 2026-11-17
- 航班银行微软集体宕机,官方称非网络攻击而是技术故障 — AaronBergman18 · 2026-11-17
- Vercel AI Gateway 上线 Private Inference:自有模型统一接入 — soleio · 2026-11-17