Together 自曝砍掉 megakernels:AI 编译器在 B200 上再快 28%
togethercompute · x · 2026-11-17
Together AI 发布长文复盘 Together Compiler 的研发历程——该产品用 AI agent 针对模型、芯片和流量自动调优推理,吞吐最高提升 2.6 倍。
关键事实与结论:
- megakernel 的教训:去年参与发布首批 megakernel(整个前向传播融进单个 GPU kernel),速度创纪录但难落地——数月努力后只支持 1 个模型、1 个 batch size、1 个客户。
- 意外发现:在默认 Torch Inductor kernel 上只加 CUDA Graphs 和 PDL,即可恢复 megakernel 98% 的性能,一行 kernel 都不用写。
- agent 化调优:用「multi-kernels」+ agent 循环重写与融合前向传播中的 GPU kernel,Together Compiler 在 B200、Llama 3.2 1B 上达到 2,118 tokens/s,比手写 megakernel 的 1,649 tokens/s 快 28%。
- 背景:模型架构每周推陈出新、流量跨 batch size/序列长度漂移、硬件平台激增,异构性使得手工调优不再可行。
作者为 Dylan Lim、Reyna Abhyankar、Simran Arora。
所属事件:Together AI 弃用 megakernels,新编译器在 B200 上再提速 28%(2 条相关)→
「Infra」频道最新
- 美联航曝大规模系统故障,正值全美航班禁飞令后恢复期 — shaunralston · 2026-11-17
- Cloudflare 平台开发者破千万,一年内翻倍以上 — Beth_Kindig · 2026-11-17
- AWS 推出 Bedrock 记忆感知智能体:长期记忆与 ACL 检索一键集成 — AWS ML Blog · 2026-11-17
- NVIDIA 发布 cuPotential:分子动力学非键相互作用提速 3 倍 — AllThingsApx · 2026-11-17
- 航班银行微软集体宕机,官方称非网络攻击而是技术故障 — AaronBergman18 · 2026-11-17
- Vercel AI Gateway 上线 Private Inference:自有模型统一接入 — soleio · 2026-11-17