vLLM 支持 Google DiffusionGemma：块扩散 MoE 吞吐约提升 1.9 倍
vllm_project · x · 2026-09-23
vLLM 官方宣布 nightly 版已支持 Google 的 DiffusionGemma-26B-A4B-it，并给出部署指南。
要点：
- 架构：基于 Gemma 4 MoE 骨干的块扩散语言模型，26B 总参 / 4B 激活，128 个细粒度专家、top-8 路由。
- 生成方式：不做自回归解码，而是在固定长度画布上按 256-token 块迭代去噪（每块最多 48 步），换取约 1.9 倍的单请求吞吐，代价是更高首 token 延迟。
- 其他能力：支持文本+图像多模态（Gemma 4 视觉编码器）、思考模式（<|channel>thought 分隔符）、函数调用。
- 部署注意：扩散状态缓冲区会按 maxseqs × canvaslength × vocabsize 预分配显存，262K 词表下必须用 --max-num-seqs 4 等特殊参数，否则 OOM；生成配置需用 --generation-config vllm。
部署命令：vllm/vllm-openai:nightly，vLLM ≥0.24.0。
「Infra」频道最新
- 降价反而更贵:新模型太爱自查，单任务成本涨31% — tengyanAI · 2026-11-11
- Anthropic IPO 需求火爆传拟上调定价，目标估值 1.4 万亿美元 — firstadopter · 2026-11-11
- 本地 LLM 路由器 SimpleHarn：显存不够就拒绝加载模型 — legislat · 2026-11-11
- Rivet 推出 SQLite Forking:20ms 分叉 agent 线程且零数据拷贝 — samgoodwin89 · 2026-11-11
- 法国网友提议数据中心向周边居民付费补偿 — clemnt · 2026-11-11
- GPU 租价创新高:B200 按需价涨至 $6.97/小时 — inductionheads · 2026-11-11