SGLang 比 vLLM 多占 18.5GB 显存：混合注意力模型实测存疑
SomeRandomGuuuuuuy · reddit · 2026-08-18
Reddit 用户在 RTX PRO 6000 Blackwell（97GB）上用相同配置对比 vLLM v0.27.1 与 SGLang 0.5.17 跑 Qwen/Qwen3.8-27B（BF16，TP=1，256K 上下文，mem fraction 0.8，128 并发），发现巨大差异：
- SGLang 为 128 个请求槽位预留了 18.49 GB 的 recurrent GDN state，KV cache 只剩约 74,460 个 token
- vLLM 在同等内存比例下可用 KV token 达 356,764，约为 SGLang 的 4.8 倍
该模型为混合注意力架构：64 层中 16 层为 full attention，48 层为线性注意力/GDN 层（4 个 KV head，headdim 256）。作者已尽量对齐两边参数（chunked prefill、cudagraph、关闭 prefix cache 等），仍无法解释差距，不确定是 SGLang 的预期行为还是配置问题，并回忆半年前就见过类似现象。
「Infra」频道最新
- 2027 年笔记本将跑 Opus 5.5 级模型？Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16