Cloudflare 部署大模型显存优化：FP8 与 INT4 让并发翻倍
arpit_bhayani · x · 2026-08-05
作者解析了 Cloudflare 大规模部署 Kimi K2.6 和 GLM 5.2 的博客，指出KV cache 往往比模型权重更早耗尽 GPU 显存。
核心优化策略与权衡：
- Kimi K2.6：将 KV cache 从默认的 BF16 降为 FP8 精度，存储减半，使单卡最大上下文从 68 万 tokens 增至 137 万。虽然 FP8 因类型转换导致单 token 生成略慢（5-9%），但显存占用减半使得并发上限从 32 提升至 64，吞吐量峰值提升 41%。
- GLM 5.2：进一步将模型权重从 FP8 压缩至 INT4，使单卡显存占用从 88GB 降至 52GB。
基准测试表明，这些精度下降几乎不影响模型质量，FP8 KV cache 与 BF16 得分相差不到 1 分，INT4 权重与 FP8 得分差距也维持在 0.8 分以内。
所属事件:Cloudflare 详解大规模运行 Kimi 与 GLM 显存优化(4 条相关)→
「Infra」频道最新
- SpaceX 拟购数千兆瓦算力,机构预估可为英伟达增收超千亿美元 — nwilliams030 · 2026-08-05
- Proxmox VE 正式发布 ARM64 版本,全面支持英伟达 GH 平台 — jedisct1 · 2026-08-05
- TensorSharp MoE卸载实测:大模型显存占用暴降,速度远超llama.cpp — fuzhongkai · 2026-08-05
- 牛津经济学家:AI 军备竞赛驱动数据中心狂飙 — carlbfrey · 2026-08-05
- Cerebras 创始人详解 AI 芯片供应链与推理迁移 — mattturck · 2026-08-05
- 苹果求购便宜内存遭拒，长鑫反报高价 — firstadopter · 2026-08-05