vLLM 合并 Octave KV:AMD GPU 上 KV 缓存容量提升 4.6 倍
solyarisoftware · x · 2026-11-03
- vLLM 已合并 ROCMOCTAVE：一个面向 AMD GPU（RDNA3 的 gfx1100 与 MI300X 的 gfx942）的原生 3-4 bit KV cache 后端，通过 --kv-cache-dtype octavekv3 等参数启用。
- 容量：4× RX 7900 XTX 跑 Qwen3.8-27B 时，缓存 token 容量达 FP16 的 4.6 倍；单卡 MI300X 上比 AIITER fp8 缓存多 1.95 倍 token（53 vs 27 个并发 128k 请求）。
- 质量：GSM8K 与 126k 针 haystack 检索测试与 fp16/fp8 持平。
- 速度：RDNA3 380k 下 decode 比 TurboQuant 快 4.6 倍、MTP 验证快 11 倍；MI300X 单请求 decode 与 AIITER fp8 相当。
- 支持 MTP 与 CUDA graphs，作者称自 2026 年 10 月起已在 RDNA3 生产环境使用。注意压缩的是 KV 缓存而非模型权重，可在同等显存下支持更长对话或更多并发请求。
「Infra」频道最新
- Anthropic S-1 解读：季度收入 170 亿，算力义务高达 8950 亿美元 — FinanceYF5 · 2026-11-03
- 独立开发者众筹 M5 Ultra Mac Studio,只为把本地推理推向极限 — AIFlow_ML · 2026-11-03
- O'Reilly 新书《Hands-On LLM Serving and Optimization》系统讲解 LLM 部署优化 — kalyan_kpl · 2026-11-03
- GPU 租赁商 Hot Aisle 抬价：8×MI300X 仅收 2.99 美元/小时 — AccBalanced · 2026-11-03
- TrendForce：GPU 交货周期拉长至 30–45 周，HDD 高达 50 周 — AccBalanced · 2026-11-03
- 开源复现 Flapping Airplanes 巨核：单内核同时训练、推理、跑 Doom — xennygrimmato_ · 2026-11-03