PN-Mix 论文：2.26-bit key cache 量化跑赢 2.32-2.39-bit 基线
pmttyji · reddit · 2026-10-23
arXiv 论文提出 PN-Mix，一种面向 RoPE 架构 decoder-only LLM 的混合精度 key cache 量化方法，针对长输出推理中的 KV cache 内存与带宽瓶颈。
- 核心发现：通过 RoPE 通道对层面的 attention logit 扰动分析，query-key 通道对的 pair-norm 乘积较大的通道对，其量化误差对 logit 波动贡献显著——此前方法只用 key 自身统计量估计通道重要性。
- 方法：在 prefill 阶段一次性识别显著通道对并分配更高精度，解码全程复用。
- 结果：平均 2.26-bit 精度下，在推理、代码生成与 AIME 等基准上达到与 2.32-2.39-bit 的既有混合精度方法相当或更好的准确率（见 Llama3.1-8B、Qwen3-8B、Qwen2.5-14B、Qwen3-32B 对比表，多个基准拿下非 FP16 最佳）；Pareto 扫描显示可平滑退化到 1.5-bit，而基线在 2.25-bit 以下急剧下降。
论文：arXiv 2610.19605
「Infra」频道最新
- Meta 研究员：开源模型难追闭源，烂到根的基础设施是主因 — A_K_Nain · 2026-10-23
- Jane Street 用 NVIDIA cuTile 实现 Mamba-2 高性能前向核 — blelbach · 2026-10-23
- LatentLoop 论文：非对称算力分配让循环 MoE 省 19% 计算 — pmttyji · 2026-10-23
- 同一 AI 请求在德州碳排放是瑞典的 8.5 倍 — jlundberg · 2026-10-23
- SK海力士叫停Solidigm美国IPO,股价季度内暴跌约30% — rohanpaul_ai · 2026-10-23
- 设计师嘲讽英伟达：不买旧 GPU 就拿不到新卡，这不是泡沫？ — michalmalewicz · 2026-10-23