GLM-5.3-Flash 本地部署实测：206 tok/s 与 1M 上下文
funding__secured · reddit · 2026-08-27
作者在 DGX Station GB300 上成功部署并测试了 GLM-5.3-Flash 模型。
性能数据：
- 速度：单流模式下达到约 206 tokens/s。
- 上下文：支持 100 万 (1M) 上下文长度。
- 精度：使用 NVFP4 量化，适配 HBM3e 显存。
部署配置 (Docker)：
提供了完整的 docker run 命令，包含关键参数优化：
- VLLMKVCACHELAYOUT=HND
- --compilation-config '{"mode":3}'
- --enable-prefix-caching
- --attention-config '{"usefp4indexercache": true}'
- --speculative-config '{"method":"mtp","numspeculativetokens":3}'
注意事项：
当前镜像存在 Bug，无法自动下载模型，需预先下载权重到本地并通过 --model 指向本地路径。
所属事件:GLM-5.3 Flash 实测刷屏：性能对标 GPT-5.6、成本仅美分级(7 条相关)→
「Infra」频道最新
- ASML CFO 称美国限制对华 DUV 销售将适得其反 — pstAsiatech · 2026-10-15
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15