开源prefill引擎实测:GLM-5.3-Flash达vLLM 3.2倍吞吐
bariskasikci · x · 2026-11-19
Kan Zhu 发布开源项目 SSEngine-GLM5.3-Flash,专为 GLM-5.3-Flash 在 4 张 B200 GPU 上的 coding agent 服务场景打造的高性能 prefill 引擎。
核心技术组合:
- 流水线并行(pipeline parallelism)
- 跨 GPU 显存、DRAM、SSD 的分层 prefix cache
- 最短剩余 prefill 优先调度器
在真实硬件上重放 coding agent 轨迹(AgentX、TraceLab 两组 trace),请求吞吐分别达到其测试过的所有 vLLM/SGLang 配置的 3.1× 和 3.2×。转发评论指出行业趋势:针对特定模型和芯片定制服务栈已成方向,prefill 与 decode 各自需要独立的 serving stack。
「编程与Agent」频道最新
- 整个视频全在 Antigravity 里做完:Gemini 4 包办配音字幕动画音频 — alexanderchen · 2026-11-19
- 用户吐槽 Muse 平台变慢报错:10 个 agent 里 3 个疑似卡死 — RichardsonDx · 2026-11-19
- LangChain 创始人力荐 Deepagents:称其为最佳 agent 基座 harness — BraceSproul · 2026-11-19
- Biohub 开放 MCP:蛋白质大模型可接入 Claude、ChatGPT 等任意 Agent — AllThingsApx · 2026-11-19
- GPT 6.2 Astra 实测:6 个 Blender MCP 3D 挑战一次生成 — reddit0_r · 2026-11-19
- 设计师AI原型工作流分享:拒绝工厂式流程,搭一个prompt原型游乐场 — round · 2026-11-19