ReaDy 用混合线性注意力循环状态做投机草稿，提升生成速度与接受率

Bohan Sun · hf · 2026-10-19

来自 StartLux、中科院大学与港大的论文 ReaDy，提出首个面向混合线性注意力（HLA）大模型的投机解码方法：利用 HLA 模型维护的紧凑循环状态中积累的历史关联，按位置检索上下文作为投机草稿的动态依据，替代依赖目标模型隐特征的传统 feature-based drafter——后者对后续草稿位置的上下文侧重常常错位。

通过为每个草稿位置提供位置相关的补充上下文，ReaDy 同时提升生成速度与草稿接受率，缓解自回归生成的串行瓶颈。论文 10 月 14 日发布于 arXiv。