PACE 量化器：4-bit 状态量化逼近 8-bit 精度

柏林洪堡大学在论文中提出 PACE，一种针对线性注意力语言模型递归状态的事后 4-bit 量化方法。不同于已有量化器每个 token 都对状态舍入导致 4-bit 精度损失，PACE 每几个 token 才舍入一次，免微调即可降低显存占用。由于推理系统为每条并行解码序列保存一份固定大小状态，低精度存储可让更多序列共享加速，使 4-bit 量化效果逼近 8-bit 精度。

2026-10-22 ~ 2026-10-23 · 2 条相关