BitDecoding-FP4:原生 FP4 KV 缓存解码,精度不输 BF16
kalyan_kpl · x · 2026-11-20
新论文 BitDecoding-FP4 通过算法-系统协同设计,让 LLM 解码可以使用原生 4 位浮点(FP4)KV 缓存,同时保持接近 BF16 的精度。
问题背景
- KV 缓存在长上下文推理中占用大量 GPU 显存与带宽。
- 现有 FP4 KV 缓存方案因 query 量化误差、softmax 概率下溢、key 通道离群值而精度下降;保精度的 4 位量化方法又引入额外计算开销,限制解码吞吐。
方法要点
- Dual-Residual Query Quantization:用两个 FP4 张量表示 query,将注意力 logits 的量化误差从约 60% 降到 1%。
- Underflow-Aware Probability Scaling:防止小概率值在量化中下溢(正文截断,未给出完整实验数字)。
对长上下文推理的显存/带宽瓶颈是直接可用的工程优化方向。
「Infra」频道最新
- 解码更快不等于 agent 先跑完:prefill 速度决定胜负 — AIFlow_ML · 2026-11-20
- Tessara 复盘 Nvidia 七项预测:五中两失,供应商订单暴增至 2030 亿美元 — tengyanAI · 2026-11-20
- 单张 Intel ARC B70 跑 Qwen3.8-Flash-Next:2.5K prefill、47 token/s — WizardlyBump17 · 2026-11-20
- SQLite 存 10KB 小文件比文件系统快约 35%,原因在系统调用开销 — arpit_bhayani · 2026-11-20
- NVIDIA NarrowSpec:草稿模型隐藏宽度减半仍可加速 1.44 倍 — nvidia · 2026-11-20
- 腾讯 Hy4 旗舰 MoE 登陆 vLLM:774B 总参/49B 激活,1M 上下文 — vllm_project · 2026-11-20