Together Compiler 实测:MiniMax M3.1 Flash 提升 1.88 倍至 1299 tokens/s
simran_s_arora · x · 2026-11-17
Dylan Lim 补充的 thread 说明 Together Compiler 的核心主张:最优编译器并不总是 megakernel 编译器,关键在于识别该耦合的算子组并单独调优,而 agentic 系统恰好适合在这个扩大的搜索空间里导航。
配图给出实测数据:batch size 1 下 Together Compiler 相对 baseline,MiniMax M3.1 Flash(B200)从 690 提升到 1299 tokens/s(1.88×),GLM 5.3(B200)1.33×,DeepSeek v4.1 Flash(GB300)1.30×;并发扫描显示 Kimi K3(B300, vLLM)和 GLM 5.3(MI355X, vLLM)在吞吐-延迟曲线上全面领先 baseline。团队认为 agent 将成为现代编译器栈的核心组件。
「Infra」频道最新
- Megakernel 宣传 vs 现实:大量收益被过度设计,实际多为等待栅栏 — simran_s_arora · 2026-11-17
- Torch Compile 被低估:默认 kernel 加 CUDA Graphs 与 PDL 达 megakernel 98% — simran_s_arora · 2026-11-17
- Baseten 实测 DeepSeek v4.1 Flash:Vera Rubin 上跑出 2500 tok/s — baseten · 2026-11-17
- ARK 报告:黄仁勋卸任英伟达 CEO,供应链与生态或受冲击 — downingARK · 2026-11-17
- 拆解 Nvidia 循环融资:1700 亿美元销售额仅 350 亿资金未落定 — tengyanAI · 2026-11-17
- Chase 一个软件 bug 波及全美银行系统,作者呼吁重视关键基础设施韧性 — AryHHAry · 2026-11-17