NVIDIA NarrowSpec:草稿模型隐藏宽度减半仍可加速 1.44 倍

nvidia · hf · 2026-11-20

NVIDIA 发布 NarrowSpec 研究:投机解码中借用目标模型隐藏态的草稿模型(如 DFlash、EAGLE-3)无需继承目标的隐藏宽度,残差流可压缩到一半甚至四分之一而接受率基本不变。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →