H100 实现 622GB/s 解码：ExANS 开源无损 KV 缓存压缩方案
arnav__1 · hn · 2026-08-06
开发团队 OpenLake 推出了开源的 ExANS，一种针对大模型 KV cache 的 GPU 无损压缩方案。
- 核心发现：BF16 张量通常因高熵极难压缩，但真实世界的 KV 块中，指数部分的字节熵极低。因此方案选择仅压缩指数流，从而绕开复杂整体压缩。
- 性能表现：在 H100 上使用生产级 KV 快照实测，实现了 1.51 倍无损压缩，中位 GPU 解码速度达 622 GB/s。
- 工程价值：解压速度比 400 Gbps 网卡带宽快约 10 倍，能在不损失生成质量的前提下，显著解决 PCIe 或 NIC 带宽瓶颈，降低首字延迟（TTFT）。
- 接入方式：已集成至 OpenLake v0.8，支持 vLLM 和 SGLang，推理引擎端无需做任何代码修改。
「Infra」频道最新
- Jeff Dean 等科学家因 TPU 限制研究而离开 Google — firstadopter · 2026-08-06
- ARCHead：大模型输出头量化新方法，存储大幅降低且几乎无损 — Şuayp Talha Kocabay · 2026-08-06
- 8张 V100 能否支撑 50 人团队的 DeepSeek 本地推理？ — MKU64 · 2026-08-06
- RTX 5090搭配96GB内存对本地AI工作流提升大吗？ — Beastly4k · 2026-08-06
- 英伟达发布 RTX Spark 超级芯片：1 Petaflop 算力，重新定义 AI PC — nvidia · 2026-08-06
- 新 ComfyUI 节点让 Minimax H3 提速 4 倍、Krea 2 提速 5.6 倍 — Certain-Will-2769 · 2026-08-06