BitDecoding-FP4:算法与系统协同设计实现原生 FP4 KV 缓存解码
UoE-Mlsys · hf · 2026-11-18
UoE-Mlsys 发布 BitDecoding-FP4,通过 FP4 量化与系统优化的协同设计(co-design),在保持精度的同时实现高吞吐的长上下文 KV cache 解码,面向 LLM 推理加速场景。
「Infra」频道最新
- 苏姿丰:当前芯片需求非周期性波动,而是世代级增长 — BenBajarin · 2026-11-18
- Qdrant 用静态嵌入 35 分钟生成 3280 万条向量,详解 Fastembed 优化 — qdrant_engine · 2026-11-18
- ComfyUI 优化 MiniMax H3 视频 VAE,编码提速 2.2 倍 — NerdyRodent · 2026-11-17
- ArisGlobal 反转 Prompt 缓存顺序,抵御提示词膨胀 200% 成本上涨 — AWS ML Blog · 2026-11-17
- Cloudflare 研究员:Clef 快速发布靠「非对称努力」,后续还有推理模型 — michellechen · 2026-11-17
- 互联网故障第4天:嘉信理财等券商接连宕机,交易大面积中断 — GaryMarcus · 2026-11-17