KV4-RL 用 INT4 KV 量化加速 RLVR rollout,提速 1.8 倍精度不掉

kaist-ai · hf · 2026-10-15

• 背景：异步 rollout 提升可验证奖励强化学习（RLVR）效率，但持续并发使上下文处理集中到更少 decode 步，单步 KV 负载剧增（KV concentration）。
• 发现：匹配负载对比下，KV cache 量化比 weight-only、weight-activation 量化加速更显著；但纯 INT4 KV rollout 即使配合 token 级截断重要性采样（TIS）仍可能损害学习。
• 方法：KV4-RL 免校准 INT4 KV 量化，配合对 attention sinks 与近期上下文的选择性 INT8 保护，减少采样器错配。
• 结果：Qwen3-8B-Base GRPO 训练 400 迭代，累计 rollout 加速 1.80 倍、全迭代加速 1.27 倍，最后 50 迭代 rollout 提速 1.97 倍；BF16 评估下六基准平均精度与 BF16 rollout 训练差距在 0.5 个百分点内（Qwen3-4B/8B-Base 均适用）。

原文链接 →

「Infra」频道最新

• 清华提出 Latent Compaction:KV 缓存压缩 32 倍仍保 96.7% 检索精度 — Yingfa Chen · 2026-10-15
• 奥地利航空航班首现 Starlink 机上 WiFi:实测下行 157 Mbps — mitsuhiko · 2026-10-15
• 银行开始转售刚承销的 AI 数据中心债务，风险正向市场转移 — jazir55 · 2026-10-15
• 论文+开源基准：LLM 故障转移保住对话上下文，连续率 99.2% — its_vayishu · 2026-10-15
• Claude 拒改的 GPU 内核，转手丢给 DeepSeek 照做 — mike64_t · 2026-10-15
• 英伟达布局北欧:瑞典联合超算上线,2027 年底落地 1GW AI 算力 — nvidia · 2026-10-15

更多「Infra」频道 AI 资讯 →