DeepMind 为 Gemma 4 内置投机解码草稿头,服务端提速 3.1 倍

dair_ai · x · 2026-11-22

dair-ai 详解 Google DeepMind 的新论文「Efficient and Robust Drafting with Multi-Token Prediction」:把多 token 预测草稿器直接内置进 Gemma 4 模型,对生成大量输出的 agent 场景可显著降低延迟和服务成本。

关键设计:

实测加速:大模型服务端最高 3.1 倍;小模型在 H100 上达 2.3 倍、手机 GPU 上达 2.2 倍。领域适配方面,微调主干时蒸馏草稿器可比只调主干少用最多 1.83 倍的目标模型前向计算,相关适配配方代码已开源。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →