Cohere 开源 Megakernel 推理引擎，快过 vLLM 1.58 倍

Cohere 发布并完全开源 North Mini Code Megakernel 推理引擎，这是首个围绕 decode megakernel 构建的完整 LLM 推理服务系统，其核心思路是将整个 LLM decode 过程整合进单一 megakernel。官方公布的测试成绩显示，在单张 H100（BF16）上比 vLLM 最快可达 1.58 倍，并附博客详解技术细节。

2026-09-09 ~ 2026-09-09 · 2 条相关

• Cohere 开源解码 megakernel 推理引擎,比 vLLM 快最高 1.58 倍 — cohere · 2026-09-09
• Cohere 开源 Megakernel 推理引擎：单卡 H100 上比 vLLM 快 1.58 倍 — cohere · 2026-09-09