腾讯开源STEPQuant:6-bit量化省近七成推理内存

腾讯研究团队联合浙大社区在 Hugging Face 上开源了 STEPQuant,这是一个针对线性注意力 Delta-rule 循环状态的空间-时间后训练量化(PTQ)框架。该方法将递归状态量化到 6-bit,在保持精度不损失的情况下,最多可节省 68.7% 的服务端推理内存。线性注意力以固定大小的循环状态替代不断增长的 KV cache,STEPQuant 进一步压缩了其部署成本。

2026-10-08 ~ 2026-10-09 · 2 条相关

• STEPQuant:6-bit 量化 Delta-rule 循环状态,服务内存最多省 68.7% — zju-community · 2026-10-08
• 腾讯开源 STEPQuant:6-bit 递归状态省 68.7% 推理内存不失精度 — _akhaliq · 2026-10-09