Together Compiler 实测:MiniMax M3.1 Flash 提升 1.88 倍至 1299 tokens/s

simran_s_arora · x · 2026-11-17

Dylan Lim 补充的 thread 说明 Together Compiler 的核心主张:最优编译器并不总是 megakernel 编译器,关键在于识别该耦合的算子组并单独调优,而 agentic 系统恰好适合在这个扩大的搜索空间里导航。

配图给出实测数据:batch size 1 下 Together Compiler 相对 baseline,MiniMax M3.1 Flash(B200)从 690 提升到 1299 tokens/s(1.88×),GLM 5.3(B200)1.33×,DeepSeek v4.1 Flash(GB300)1.30×;并发扫描显示 Kimi K3(B300, vLLM)和 GLM 5.3(MI355X, vLLM)在吞吐-延迟曲线上全面领先 baseline。团队认为 agent 将成为现代编译器栈的核心组件。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →