BitDecoding-FP4:算法与系统协同设计实现原生 FP4 KV 缓存解码

UoE-Mlsys · hf · 2026-11-18

UoE-Mlsys 发布 BitDecoding-FP4,通过 FP4 量化与系统优化的协同设计(co-design),在保持精度的同时实现高吞吐的长上下文 KV cache 解码,面向 LLM 推理加速场景。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →