Cohere 开源 Megakernel 推理引擎：单卡 H100 上比 vLLM 快 1.58 倍
cohere · x · 2026-09-09
- Cohere 发布其 North Mini Code Megakernel 推理引擎并附博客详解。
- 公布的成绩：North Mini Code 在单张 H100（BF16）上 BS=1 时达到 vLLM 的 1.58 倍，BS=8 时端到端服务吞吐为 vLLM 的 1.25–1.41 倍。
- 博客解释了 megakernel 的概念及系统构建方式，是推理栈层面的优化工作，面向 agentic 编码模型的自主部署场景。
所属事件:Cohere 开源 Megakernel 推理引擎，快过 vLLM 1.58 倍(2 条相关)→
「Infra」频道最新
- Anthropic 营收三年暴涨 4000 倍,上半年已入账 163 亿美元 — daniel_mac8 · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27
- YC 系创企 Hopper 出击语音推理：TTFT 80ms、价格为 GPT-4.1 的 15% — ycombinator · 2026-10-27
- a16z 数据:A100 租赁价格 2026 年仍在涨,旧卡并未贬值 — VraserX · 2026-10-27
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27