vLLM 首日支持 Qwen-Image-2.1:KV cache 复用加速推理,附部署指南
Alibaba_Qwen · x · 2026-09-20
vLLM 项目宣布对 Qwen-Image-2.1 提供首日(day-0)支持,Qwen 官方转发致谢。技术上,Qwen-Image-2.1 是 7.1B 单流 DiT(块因果注意力)搭配 Qwen3-VL-8B 文本编码器和 16x RGBA 自编码器,一个模型同时服务文生图与图像编辑。
vLLM-Omni 的优化要点:
- 跨步前缀 KV cache 复用:把文本与参考图部分的编码变成一次性成本,而非每步重复计算
- 专用 CUDA Graphs、请求级与步级连续批处理、phase-aware 调度
- 支持 tensor/Ulysses 序列并行、分布式 VAE 解码(含 OOM 恢复)、FP8 权重、CPU offload
一个 QwenImage21Pipeline 即可同时跑生成与编辑,无需单独加载编辑模型。官方配方给出采样默认值:40 步、cfg-scale 设 1.0(仅配负向提示词时才有效)。
「Infra」频道最新
- a16z：H100 租金比直线折旧线高 54%，老 GPU 远未贬值 — a16z · 2026-11-12
- 开发者晒 AMD Strix Halo 跑通 ONNX：本地编译匹配 migraphx ABI — wavefnx · 2026-11-12
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12