Efficient and Robust Drafting with Multi-Token Prediction
Filippo Galgani, Ziwei Ji, Omri Homburger, Ganesh Jawahar, Michelle Ramanovich, Ivan Korotkov, Luciano Martins, Utku Evci, Edouard Yvinec, Pooja Consul, Vivek Kumar, Tal Schuster
cs.CL
2026-11-19
给 Gemma 4 接上共享四层草稿头,靠主干已有的键值缓存起草。31B 在双卡 H100 上的生成速度从每秒 73.2 个 token 升到 230.1 个,达到 3.14 倍。
投机解码把生成拆开:草稿模型先连猜几个 token,目标模型用一次前向并行验收。自回归每步都跑完整张网络,算力用不满,时间主要耗在内存带宽上。独立的草稿模型还要自己做预填充,把同一段历史写成第二份键值缓存(KV cache)。服务器因此少一块吞吐,手机则经常放不下这第二份缓存。Gemma 4 要覆盖机房和端侧,草稿头只能长在主干上,不能再带一份自己的上下文。
G-MTP 接在主干末层后,一组共享的 4 层 Transformer 自回归起草。E2B、E4B 的草稿头宽 256,参数 76M、77M;12B、26B 混合专家(MoE)和 31B 宽 1024,参数 400M、430M、500M。注意力为三局部加一全局,前馈放大 8 倍。训练只看未来 3 步,推理时这 4 层反复用,草稿可以更长。
第一步拼接采样 token 的嵌入和主干末层隐状态,隐状态取归一化(RMSNorm)之后,再降到草稿宽度。采样 token 用来收敛分叉:同一个隐状态可以接出多条合法续写。拼接方式沿用顺序草稿 EAGLE,不加池化。随后每步将草稿状态升维,拼上新嵌入,再降回来。草稿 token 不写进缓存。
预填充被省掉。草稿层交叉注意主干已有的键值缓存,不复制。三个局部层共用最后一份局部缓存,全局层用最后一份全局缓存,查询位置固定为 p1,步数信息在循环状态里。E2B、E4B 有跨层共享,读到的缓存不一定来自绝对末层。
小草稿头投影词表很贵。词表有 262,144 个 token。E2B、E4B 把反嵌入均衡分成 2048 簇,每簇 128 个,先给簇打分,再只对最高的 32 簇计算 token 分数。乘加约少 43 倍,命中率高于 97%。更大的草稿头直接投影全词表。
领域微调会让冻住的草稿头脱离新分布。E4B 上的更新都用低秩适配(LoRA),比较了只训主干、联合训练,以及冻结主干后的总变差蒸馏(用总变差衡量分布差距)。蒸馏权重为 1,草稿头侧不含下一 token 交叉熵。
吞吐在 vLLM 0.26 上测量,bfloat16,batch size 为 1,SPEED-Bench 质量集 880 条。E2B、E4B、12B 用一张 H100,26B 与 31B 用两张。倍数相对同硬件的自回归。绝对吞吐不能跨卡数比较。γ 是草稿长度,块效率是每个目标前向平均留下的 token 数。E2B 与 E4B 用聚类词表,更大的模型用全词表。
| 模型 | 草稿参数 | 最优 γ | 块效率 | 基线 token/s | G-MTP token/s | 加速 |
| E2B | 76M | 4 | 2.71 | 278.8 | 550.1 | 1.97× |
| E4B | 77M | 9 | 3.45 | 178.0 | 415.5 | 2.33× |
| 12B | 400M | 6 | 3.69 | 93.5 | 249.7 | 2.67× |
| 26B MoE | 430M | 4 | 3.27 | 248.9 | 334.0 | 1.34× |
| 31B | 500M | 8 | 4.26 | 73.2 | 230.1 | 3.14× |
31B 从 73.2 升至 230.1 token/s。块效率 4.26 高于加速比 3.14,差额里有草稿头自己的计算。26B MoE 块效率 3.27,加速只有 1.34 倍。
31B 在同一引擎、bfloat16、双卡 H100、FlashAttention 4 下,与并行草稿 DFlash、顺序草稿 EAGLE-3 对比。
| 草稿器 | γ=2 | γ=4 | γ=8 | γ=8 块效率 | γ=8 token/s |
| EAGLE-3 | 1.86× | 2.10× | 2.07× | 2.80 | 151.5 |
| DFlash | 1.94× | 2.37× | 2.60× | 3.15 | 190.5 |
| G-MTP | 2.27× | 2.85× | 3.14× | 4.26 | 230.1 |
三个长度上都是 G-MTP 领先。DFlash 单步更短,块效率更低,吞吐仍然落后。EAGLE-3 在 γ=4 时为 153.8 token/s,增到 γ=8 时降为 151.5。
端侧只有 E2B、E4B。Galaxy S26 Ultra 的 GPU、γ=3、不用聚类词表:E2B 1.69 倍,E4B 2.18 倍。Pixel 11 的 Edge TPU 为 4-bit 贪心解码,γ=3,最长 600 个 token,定性子集 456 条。聚类投影下,E2B 从 1.89 倍到 1.92 倍,E4B 从 1.96 倍到 1.98 倍。草稿时间是全词表的 0.81 和 0.79,中位接受率从 0.49 到 0.48、从 0.52 到 0.50。相对不用投影,端到端是 1.01 倍。
适配实验用 E4B 与 LoRA,500 条测试,推理 γ=7,训练步数为 3。只训主干时准确率上升:SciQA 从 68.40% 到 99.23%,GSM8K 从 74.83% 到 88.01%。
| 配置 | SciQA 块效率 | SciQA 前向次数 | GSM8K 块效率 |
| 未微调 | 2.51 | 12,334 | 3.73 |
| 只训主干 | 1.60 | 19,423 | 2.95 |
| 联合训练 | 2.96 | 10,595 | 3.77 |
| 两阶段蒸馏 | 2.80 | 11,155 | 3.58 |
SciQA 上只训主干,块效率少 36.3%。联合训练把前向次数从 19,423 降到 10,595,约为前者的 1/1.83。GSM8K 上两阶段蒸馏回到未微调块效率的约 96%。γ=7 时,SciQA 只训主干的接受率只有 8.96%,块效率仍有 1.60,因为目标模型每次验收还会再写一个 token。
服务端不必再部署一个单独预填充的草稿模型。batch size 为 1 时,31B 加速 3.14 倍,12B 加速 2.67 倍。草稿头 500M,检查点已公开。
端侧的 2.18 倍来自 77M 的头,以及不另建缓存。聚类投影相对全词表,端到端只有 1.01 倍。少掉的 43 倍乘加局限在词表矩阵里,接受率一降,省下的草稿时间就被抵消。
只训主干会让投机解码退步,任务准确率同时变好。SciQA 块效率掉 36.3%,GSM8K 掉 20.9%。联合训练和两阶段蒸馏把块效率拉回,准确率与只训主干持平。适配代码已公开。
26B MoE 把块效率和加速比拆开了。batch size 为 1 时加速 1.34 倍,batch 不小于 3 时落在 1.55 倍到 1.71 倍。相邻草稿 token 可能激活不同专家,并行验收变贵。稠密模型上的倍数不能直接拿来估计它。
全系列速度在 H100 上测量,端侧只有 E2B、E4B 和两台设备,手机 GPU 未使用聚类投影。内存和电量没有数据。预训练配方没有公开,适配从已发布检查点开始。
3.14 倍是 batch size 为 1 的数字。batch 增大后相对加速通常下降,文中只给了 MoE 的后半段。与 EAGLE-3、DFlash 的比较仅有 31B 和 SPEED-Bench,对方是外部检查点,训练成本未对齐。
位置编码固定为 p1,交叉注意只接最后一组缓存,正文没有拆开消融。训练停在 3 步,更长 γ 的证据只来自这些模型和 SciQA、GSM8K。聚类投影在大模型上没有启用。