Together Compiler 背后:从 Megakernels 到 agent 驱动编译的演进史

simran_s_arora · x · 2026-11-05

Together 研究员 simransarora 的个人复盘:他从 ThunderKittens、Megakernels 起家研究 AI 优化加速框架,加入 Together 一年来,团队聚焦把逐客户手工优化扩展为数小时内交付峰值性能的自动化流程。Together Compiler 在过去数月历经多次形态:(1) 尝试把原版 Megakernels 推上生产;(2) 尝试改造 Inductor FX 图,把代码全部 lower 到 PTX、插入 PDL,并打包进单个巨型 C++ Cubin 以规避 PyTorch dispatch 开销;(3) 鉴于 agent 难以驾驭现代推理引擎数百万行代码和繁多 kernel dispatch 机制,他们构建了一个高度(结构化/受约束)的环境(帖文在此截断)。