Together 推出 AI agent 驱动的编译器,B200 上超手写 megakernel 28%
simran_s_arora · x · 2026-11-17
Together 团队(Dylan Lim、Reyna Abhyankankar、Simran Arora)发布长文回顾两年推理优化研究,介绍 Together Compiler(Polymorphic Inference):
- 核心做法:用 AI agent 重写并融合模型前向传播中的 GPU kernel,在 B200 上跑 Llama 3.2 1B 达到 2,118 tokens/s,比手写 megakernel(1,649 tokens/s)快 28%。
- 历史反思:去年他们参与发布了最早的 megakernel,速度破纪录但难以上生产——数月努力后只做到一个模型、一个 batch size、一个客户。
- 关键发现:仅用默认 Torch Inductor kernel + CUDA Graphs + PDL 就能恢复 98% 的 megakernel 性能;再配合「multi-kernels」和 agent loop 可更进一步。
所属事件:Together AI 弃用 megakernels,新编译器在 B200 上再提速 28%(3 条相关)→
「Infra」频道最新
- Together Compiler 实测:MiniMax M3.1 Flash 提升 1.88 倍至 1299 tokens/s — simran_s_arora · 2026-11-17
- Megakernel 宣传 vs 现实:大量收益被过度设计,实际多为等待栅栏 — simran_s_arora · 2026-11-17
- Baseten 实测 DeepSeek v4.1 Flash:Vera Rubin 上跑出 2500 tok/s — baseten · 2026-11-17
- ARK 报告:黄仁勋卸任英伟达 CEO,供应链与生态或受冲击 — downingARK · 2026-11-17
- 拆解 Nvidia 循环融资:1700 亿美元销售额仅 350 亿资金未落定 — tengyanAI · 2026-11-17
- Chase 一个软件 bug 波及全美银行系统,作者呼吁重视关键基础设施韧性 — AryHHAry · 2026-11-17