AMD 抢先 NVIDIA：MegaKernel 解码支持进入 vLLM 上游
bookwormengr · x · 2026-10-13
据 SemiAnalysis，AMD 已在 vLLM 上游主线合入 MegaKernel 解码支持，时间早于 NVIDIA——这是 vLLM 首次出现仅 ROCm 支持、CUDA 尚未跟进的重要特性。
- MegaKernel 是什么：通过将 kernel 启动次数减少约 10 倍，大幅提升高交互性解码（低延迟对话式推理）的效率；
- 里程碑意义：ROCm 版 vLLM 首次领先 CUDA 落地独占特性，而 CUDA 侧目前连 draft PR 都还没有；
- 有评论提到 ASTRA 正为 NVIDIA GPU 开发对应 megakernel，CUDA 侧补齐只是时间问题。
「Infra」频道最新
- 实时语音 Agent 模型怎么选:Reddit 汇总专有部署实测,LLM 延迟可从 1 秒降到 0.3 秒 — Natural-Chemical1513 · 2026-10-13
- 预测：Opus 5.5 将能在 24GB 单卡上本地运行 — TheZachMueller · 2026-10-13
- 纯 C 推理引擎 Colibri 开源:消费级硬件跑 2.8T 参数 MoE 模型 — tom_doerr · 2026-10-13
- AI agent 该跑在哪:云还是本地是个错误问题,应按组件拆分 — DavidLinthicum · 2026-10-13
- RTX 5090 传停产,ComfyUI 用户寻找替代 GPU — Impressive-Scene-562 · 2026-10-13
- 在荒野湿地自建对等网络跑到 350Mbps,还让 Agent 顺手做了官网 — vincent_koc · 2026-10-13