DeepMind 为 Gemma 4 内置投机解码草稿头,服务端提速 3.1 倍
dair_ai · x · 2026-11-22
dair-ai 详解 Google DeepMind 的新论文「Efficient and Robust Drafting with Multi-Token Prediction」:把多 token 预测草稿器直接内置进 Gemma 4 模型,对生成大量输出的 agent 场景可显著降低延迟和服务成本。
关键设计:
- 共享草稿头:一个轻量共享 drafting head 读取主干自身的激活与 KV cache,省去独立草稿模型所需的 prefill 步骤
- 零拷贝 KV-cache 交叉注意力,消除草稿器 prefill 开销
- 聚类词表投影降低每步草稿成本,对小型设备帮助最大
实测加速:大模型服务端最高 3.1 倍;小模型在 H100 上达 2.3 倍、手机 GPU 上达 2.2 倍。领域适配方面,微调主干时蒸馏草稿器可比只调主干少用最多 1.83 倍的目标模型前向计算,相关适配配方代码已开源。
「Infra」频道最新
- Chollet:算力需求未见顶,GPU 现货价持续上涨是买入机会 — fchollet · 2026-11-22
- Gavin Baker 力挺黄仁勋:投资者并不觉得被 NVIDIA 对华披露误导 — GavinSBaker · 2026-11-22
- Cohere 入驻后安大略剑桥市现「紧急」电力危机,居民电费上涨 — _ghnn_ · 2026-11-22
- 记者实探数据中心:噪音如飞机永不落地,居民被迫 24 小时忍受 — jdjohnson · 2026-11-22
- 三台迷你 PC 组 USB4 网格跑 Qwen3-235B,速度约 22 tok/s — AIFlow_ML · 2026-11-22
- 手机端 LLM 当裁判狂编数据,换微型分类器后零误报 — cyka_6lyat · 2026-11-22