PACE 量化器:每几个 token 才舍入一次,4-bit 状态量化逼近 8-bit 精度
pmttyji · reddit · 2026-10-23
论文提出 PACE，一种针对线性注意力语言模型递归状态的事后（post-hoc）4-bit 量化方法。推理系统为每条并行解码序列保存一份固定大小状态，低精度存储可让更多序列共享加速器。
- 核心思路一：不再每个 token 舍入一次，而是每几个 token 舍入一次，中间生成的 token 放入小缓冲区，降低误差累积。
- 核心思路二：发现 gated-delta 状态的大数值按列聚集，因此按列共享量化 scale；对误差保持最久的头保留 8-bit。
- 结果：在 4B–35B 的四个混合模型上，4/8-bit 混合 PACE 以约 2/3 的内存达到 8-bit DAMP 在三个较大模型上的水平；全 4-bit 版本在同等内存下优于 Q-Mamba，且保留解码加速。
arXiv: 2610.29545
所属事件:PACE 量化器：4-bit 状态量化逼近 8-bit 精度(2 条相关)→
「Infra」频道最新
- Meta 研究员：开源模型难追闭源，烂到根的基础设施是主因 — A_K_Nain · 2026-10-23
- Jane Street 用 NVIDIA cuTile 实现 Mamba-2 高性能前向核 — blelbach · 2026-10-23
- LatentLoop 论文：非对称算力分配让循环 MoE 省 19% 计算 — pmttyji · 2026-10-23
- 同一 AI 请求在德州碳排放是瑞典的 8.5 倍 — jlundberg · 2026-10-23
- SK海力士叫停Solidigm美国IPO,股价季度内暴跌约30% — rohanpaul_ai · 2026-10-23
- 设计师嘲讽英伟达：不买旧 GPU 就拿不到新卡，这不是泡沫？ — michalmalewicz · 2026-10-23