vLLM 贡献者：无损 KV cache 量化可行但不划算
AlpinDale · x · 2026-11-07
vLLM 贡献者 AlpinDale 评估了将 NF12 同样的思路用于无损 KV cache 量化的可行性：技术上可行，稍加优化可能做到接近 BF16 KV cache 的性能，但节省的空间有限，而给推理引擎带来的额外复杂度过高，因此决定不做。这解释了为什么无损 KV cache 量化在主流推理框架中难以落地——收益/复杂度比不划算。
「Infra」频道最新
- 开源 fork 让 2019 年 Radeon VII 跑 47GiB MoE，解码提速 49% — milpster · 2026-11-07
- 极客把 SmolLM-135M 塞进纯 SQLite：40秒才吐一个 token — cneuralnetwork · 2026-11-07
- 学者讽黄仁勋：向中国卖芯片无需「间谍」说服，他自己就想卖 — pmddomingos · 2026-11-07
- Anthropic S-1 自认亏损将持续，年承诺支出高达 1100 亿美元 — GaryMarcus · 2026-11-07
- Xepak:从 PostgREST 替代品长成本地 REST/RPC/MCP/RAG 一体构建器 — rumatoest · 2026-11-07
- 美国 AI 规模化依赖电力、组件、智能体工作流与人形机器人试点协调 — ingliguori · 2026-11-07