GLM-5.3-Flash 本地部署实测：206 tok/s 与 1M 上下文

funding__secured · reddit · 2026-08-27

作者在 DGX Station GB300 上成功部署并测试了 GLM-5.3-Flash 模型。

性能数据：

• 速度：单流模式下达到约 206 tokens/s。
• 上下文：支持 100 万 (1M) 上下文长度。
• 精度：使用 NVFP4 量化，适配 HBM3e 显存。

部署配置 (Docker)：

提供了完整的 docker run 命令，包含关键参数优化：

• VLLMKVCACHELAYOUT=HND
• --compilation-config '{"mode":3}'
• --enable-prefix-caching
• --attention-config '{"usefp4indexercache": true}'
• --speculative-config '{"method":"mtp","numspeculativetokens":3}'

注意事项：

当前镜像存在 Bug，无法自动下载模型，需预先下载权重到本地并通过 --model 指向本地路径。

所属事件:GLM-5.3 Flash 多方实测：性能近 GPT-5.6、成本极低(6 条相关)→

原文链接 →

「Infra」频道最新

• QNX 携手 Hailo 做边缘 Physical AI：性能一致性提升 14 倍 — pdamodaran · 2026-08-27
• 美企算力优势达 15-20 倍，但在特定威胁下或无效 — ohlennart · 2026-08-27
• Hark 宣布与 NVIDIA 合作，获千兆级算力支持多模态系统 — adcock_brett · 2026-08-27
• Minimax H3 本地部署实测：5秒片段需4分钟 — thevictor390 · 2026-08-27
• 美保守派团体敦促通过法案限制对华 AI 芯片 — ohlennart · 2026-08-27
• GLM-5.3-Flash 支持百万上下文，实测速度超 160t/s — AutonomousHangOver · 2026-08-27

更多「Infra」频道 AI 资讯 →