MOIRA: Mass-Oriented Indexing with Ragged Attention for Long-Context Decoding
Dich Nhat Minh Nguyen, Tran Dang Duong Nguyen
cs.AI
2026-10-03
MOIRA 给 vLLM 加免训练稀疏解码:按注意力覆盖率逐 KV head 自适应选页,128k 上下文 TPOT 降 2.2–2.7 倍,精度与 dense 持平。
长上下文解码卡在内存带宽上:每生成一个 token,都要把每一层的 KV cache 完整读一遍。稀疏解码只读一部分,争议在预算怎么定。固定预算(Quest,以及 DeepSeek 等生产模型的训练式稀疏注意力)必须按最难的 head 定大小,大部分 head 白读多余数据,换 workload 还得重调;自适应预算(Twilight、FFD)能跟着 query 变,代价是 host 端规划、每步扫一遍低精度 key 副本,或者要训练。
oracle 实验把浪费量化得很具体:要让 90% 的行保住 95% 的注意力质量,一个全局固定预算读的 token 是实际所需的 2.38 倍,逐 (layer, KV head) 离线画像仍要 1.73 倍。需求恰恰在这个粒度剧变:Llama-3.1-8B 第一层平均要读 68% 的上下文,不少层只要 9%,同层各 KV head 之间页数的变异系数(标准差/均值)有 0.74。一刀切必然错。
kernel 层还有第二道坎。FA3 和 FlashInfer 都假设各行长度相近;当每个 KV head 各拿一张长度不同的页表,padding 会把没选中的页也读了(实测 492 µs,dense 是 489 µs,稀疏白做),FA3 varlen 读得准但行长散开时慢 23–32%,FlashInfer 的 host 端 plan() 进不了 CUDA graph,32 层累计 9–22 ms,比 MOIRA 一整个解码步还长。
MOIRA 是 vLLM 0.30 里的免训练稀疏解码路径:Triton kernel 以 Python 模块经 import hook 加载,不改模型代码、不改 KV cache 布局。每个解码层跑四个 kernel,全部捕获进 CUDA graph:
选页粒度定在 (request, layer, KV head, step) 有数据支撑:按 query head 选,同一页被多个 head 重复要求,同等误差多读 1.51 倍;同层所有 KV head 共享一张表要取并集,真实数据上要读 78–87% 的页,per-head 只要 33–41%。
H200 单卡,bf16,64-token 页。
| 对照 | 结果 |
| RULER-13 128k,Llama-3.1-8B:MOIRA γ=0.99 vs dense FA3 | 71.83 vs 71.51 分,TPOT 7.7 vs 19.0 ms(2.46×) |
| 同上,γ=0.98 | 读 19.6% 的页,TPOT 7.1 ms(2.69×),69.60 分在 benchmark 噪声内 |
| 同上,Twilight-36k / FFD | 67.94 / 64.85 分,显著低于 dense;Quest-36k 保分,但每步注意力 24.1 ms,比 dense 的 15.6 ms 还慢 |
| AIME,Qwen3-4B-Thinking,480 个解:γ=0.98 vs dense | 75.2% vs 75.2%,读 39.4% 的页,总耗时快 1.86×;同等读量下比例 top-k 只有 41.0%,固定 K=75 是 69.8% |
| 在线服务,LongBench,并发 16 | 输出吞吐 +45%(Llama)/+51%(Qwen);AIME 输出在并发 64 时 +88% |
AIME 这组最能说明自适应预算的价值。RULER 答案只有几个 token,预算给够谁都行;AIME 每个解要生成到 32k token,每步的小误差累积几千步。固定 K=75 的掉分全部来自截断(131 对 94 个解撞长度上限):预算不够不会让模型答错,会让它想得更长直到撞墙。逐 (layer, KV head) 画像能做到 74.6%,但要拟合 288 个计数;覆盖率规则一个 γ 到 75.2%。
反例写得诚实:单个短请求下 GEMM 占大头,MOIRA 在 32k 以下比 dense 慢,64k 才反超 1.05×。
这套东西可以直接装进生产栈:免训练,显存容量只损失 0.06%,γ=1 时输出与 FA3 相差在 1 个 bf16 ulp 内。TPOT 降 2–2.7× 在高并发下直接换成吞吐。更持久的贡献是把「预算多大」从要调的超参数变成选择规则的输出:head 间的真实需求差 4 倍(中位数,最大 16.6 倍),任何单一数字对大多数 head 都是错的。
作者自列:只测了 4B/8B 两个模型家族、bf16 KV、单张 H200、vLLM 0.30;模型更大时 GEMM 占比上升,加速会缩水;量化 KV、张量并行、latent attention、开放环路服务都没碰;省的是带宽不是容量,KV cache 仍要全量驻留显存。另有几点要留神:γ=0.98 在 Llama 的 RULER 上掉 1.9 分,靠「benchmark 噪声约 1.3–2.7 分」兜底,敏感任务用 γ=0.99;Quest、Twilight 跑不进 vLLM,只能比注意力耗时而非端到端,FFD 的 TPOT 出自它自家 runtime,口径不齐;128k 批次只有 32 行,kernel 的均衡优势在这里尚未兑现,提速主要来自读得少;KL 误差集中在变量追踪类 token,Llama 上 43 个 token 贡献了三分之一的 KL,这类任务慎用。