BeeLlama.cpp 提升 KV 缓存量化
Anbeeld · reddit · 2026-07-20
BeeLlama.cpp 发布 v0.4.0，重点是围绕 KV cache 的量化与精度控制做了升级，并且用 benchmark 支撑了这些改动。
主要变化包括：
- 引入 KVarN（variance-normalized KV-cache quantization），在同 bit 宽下争取更好的精度/性能平衡；
- 新增 KV cache precision tail，允许最近一段 token 用 BF16/F16 保存，其余 KV 继续量化，减少“关键上下文被压坏”的问题；
- 增加更多标准 KV cache 类型（q60/q61/q20/q21/q30/q31），用于更细粒度的显存取舍；
- 调整 DFlash 的 draft-max 逻辑，并加入 reasoning-loop 保护。
作者还配套写了一篇文章，用 Qwen 3.6 27B 和 Gemma 4 31B 做了 KLD benchmark，说明这些改动对精度和显存的影响。
「Infra」频道最新
- 估算：Anthropic 约 11GW 算力中 42% 为 NVIDIA GPU — ns123abc · 2026-10-27
- EdgeRock-4B KV cache 256K 上下文仅 72 MiB,比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27
- PyTorch 实测:ExecuTorch+Arm SME2 让端侧流式语音识别提速 2.12 倍 — PyTorch · 2026-10-27