GLM 5.3 开源，NVFP4 检查点吞吐量提升 4.4 倍
songhan_mit · x · 2026-08-29
Zai 发布 GLM 5.3 开放权重模型。IncoAI 团队同步发布 Day 0 支持方案，合作实现了多项推理优化：
- DFlash 2 Drafter：推测解码加速。
- NVFP4 Checkpoint：使用 NVFP4 格式检查点，优化显存与计算。
- Live Endpoint：基于 TokenRouter 的 GB300s 实时端点。
实测显示，在自回归解码中，该方案相比原生 FP8 可实现最高 4.4 倍的吞吐量提升。
所属事件:智谱开源 GLM-5.3 与 Flash 版(28 条相关)→
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15