STEPQuant:6-bit 量化 Delta-rule 循环状态,服务内存最多省 68.7%
zju-community · hf · 2026-10-08
浙大社区团队发布 STEPQuant,一个针对线性注意力 Delta-rule 循环状态的时空后训练量化(PTQ)框架。线性注意力用固定大小循环状态替代不断增长的 KV cache,但在并发服务下这些持久状态本身成为显著内存瓶颈,直接低精度量化会因误差随状态更新传播而严重掉精度。
关键观察:量化误差的影响取决于两个维度——时间上,长寿命记忆中的误差可跨多个解码步持续存在;空间上,不同 key 行的误差对输出影响不同,状态幅度沿行列差异巨大。
方法:按误差量级与记忆寿命分配精度,并联合拟合 key 行与 value 列的 scale。
结果:在 Qwen3.8-27B 与 Kimi-Linear-48B-A3B-Instruct 上,6-bit STEPQuant 接近 FP32 状态精度,4-bit 配置优于均匀 INT8;集成进 SGLang 并配优化 GPU kernel 后,实现 5 倍以上循环状态压缩,总服务内存最多降低 68.7%。代码已开源。
「Infra」频道最新
- NAVER 提出 DLoop:投机解码连续起草多轮再验证,加速提升 5-41% — naver-ai · 2026-10-08
- 变压器交货从500天飙至1120天，YC 合伙人称之为创业新机会 — ycombinator · 2026-10-08
- MIT 研究员用 AI 给数据中心节能，降低宕机与能耗 — nordicinst · 2026-10-08
- FT 三部曲首篇:实探乌兰察布到韶关的中国 AI 算力大基建 — zijing_wu · 2026-10-08
- 自建混合架构跑出 262K 上下文 1000 tokens/秒预填充 — HankYeomans · 2026-10-08
- 不用 GPU 也能跑:量化开源模型已在普通笔记本上顺畅运行两年多 — mattwbaker · 2026-10-08