开源 GLM-5.3-Flash 预填充引擎:4 张 B200 请求吞吐达 vLLM 3.2 倍
CShorten30 · x · 2026-11-19
- KanZhu854772 发布 SSEngine-GLM5.3-Flash:面向 GLM-5.3-Flash、跑在 4 张 B200 上的开源预填充(prefill)引擎,专为服务编码 agent 的高性能场景设计。
- 技术组合:流水线并行 + 跨 GPU 显存/DRAM/SSD 的分层前缀缓存 + 最短剩余预填充优先调度器。
- 实测在真实硬件上维持 3.1×(AgentX)与 3.2×(TraceLab)于任何受测 vLLM/SGLang 配置的请求速率;作者强调定制化 serving 引擎时代到来,先理解性能特性再动手。
所属事件:开源 GLM-5.3-Flash 预填充引擎吞吐达 vLLM 三倍(2 条相关)→
「Infra」频道最新
- MLX 经 Vulkan 跑出 124 tok/s,同卡速度反超 CUDA 25% — SumitGup · 2026-11-22
- Prime Intellect 遭入侵:托管 DeepSeek 被换成「去审查版」53 小时 — mawcopolow · 2026-11-22
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍 — pmttyji · 2026-11-22
- 千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16% — PuzzleheadedArm3732 · 2026-11-22