洪堡大学 PACE:4-bit 量化线性注意力状态,免微调降显存

huberlin · hf · 2026-10-22

柏林洪堡大学提出 PACE,一种后置(post-hoc)4-bit 量化方法,针对线性注意力语言模型的固定大小循环状态。已有量化器每个 token 都对状态舍入,4-bit 会损失精度;PACE 每隔几个 token 才舍入一次,中间 token 存入小缓冲区,并利用 gated-delta 状态大值按列聚集的规律按列共享量化 scale,从而降低误差累积。无需微调即可在 4-bit 下保持精度,让同一加速器同时服务更多并发序列。