vLLM 详解 Kimi K3 跑在 AMD MI355X:单卡吞吐追平 NVIDIA B300
vLLM Blog · rss · 2026-10-16
vLLM 博客复盘在 AMD Instinct MI355X 上对 Kimi K3 推理的扩展优化:在 AgentX 基准上实现每 GPU 吞吐与 NVIDIA HGX B300 相当。文章拆解了优化过程中的性能瓶颈识别与关键工程决策,包括瓶颈分析方法与为提升推理速度所做的取舍,是 AMD 生态支撑前沿大模型推理的重要实证案例。
「Infra」频道最新
- 爆料：新架构下 Cerebras 跑 K3 级模型或只需 10 片晶圆 — bookwormengr · 2026-10-23
- 英伟达单日暴跌 7.21% 报 212.31 美元，市值仍守 5.2 万亿 — michalmalewicz · 2026-10-23
- Serverless 本质是计费模型：有状态计算该怎么按用量收费 — s4chinraja · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23
- 云锁定新形态：AWS、谷歌自研 AI 芯片带来性能也带来迁移难题 — DavidLinthicum · 2026-10-23
- Linux 内核用 AI 辅助检测 AMD Zen CPU 微架构 — Fcking_Chuck · 2026-10-23