ReaDy 用线性注意力循环状态做推测解码,Qwen3.8-27B 提速 3.16 倍

pmttyji · reddit · 2026-10-23

论文 ReaDy 首次将混合线性注意力（HLA）模型的循环状态用于推测解码的草稿生成：每个草稿位置通过学习的 query 直接从目标模型已提交的循环状态中检索补充上下文，经轻量 state reader 以残差方式注入草稿表示，配合低秩状态读取与融合算子控制额外开销。在数学、代码、对话等 7 个基准上，Qwen3.8-27B 单张 NVIDIA B200 相比自回归解码平均加速 3.16×（GSM8K 最高 4.08×），并在全部基准上超过 DSpark：吞吐平均 +7.97%，接受长度平均 +8.50%。代码与模型权重已开源（GitHub/HuggingFace）。