BitDecoding-FP4:原生 FP4 KV 缓存解码,精度不输 BF16

kalyan_kpl · x · 2026-11-20

新论文 BitDecoding-FP4 通过算法-系统协同设计,让 LLM 解码可以使用原生 4 位浮点(FP4)KV 缓存,同时保持接近 BF16 的精度。

问题背景

方法要点

对长上下文推理的显存/带宽瓶颈是直接可用的工程优化方向。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →