vLLM-Omni 发布：KV 复用、FP8 等多项优化加速全模态推理
vllm_project · x · 2026-09-20
vLLM 官方介绍 vLLM-Omni 的底层技术优化，与阿里 Qwen 团队合作完成：
- 跨步骤前缀 KV 复用，避免重复计算文本与参考图像前缀
- 专用 CUDA Graphs，降低固定 shape decode 的启动开销
- 请求级与步骤级连续 batching，带 phase 感知的 prefill/decode 调度
- Tensor 与 Ulysses 序列并行
- 分布式 VAE 解码，带自适应 OOM 恢复
- FP8 权重、FP8 前缀 KV 存储与 CPU offloading，适配不同显存预算
「Infra」频道最新
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12
- llama-modchip：64GB 内存纯 CPU 跑 284B 模型，零 GPU — pmttyji · 2026-11-12
- Agent Substrate 计算器：预测不同负载下 agent 会话恢复速度 — pjausovec · 2026-11-12