NVIDIA NarrowSpec:草稿模型隐藏宽度减半仍可加速 1.44 倍
nvidia · hf · 2026-11-20
NVIDIA 发布 NarrowSpec 研究:投机解码中借用目标模型隐藏态的草稿模型(如 DFlash、EAGLE-3)无需继承目标的隐藏宽度,残差流可压缩到一半甚至四分之一而接受率基本不变。
- 对 DFlash 这类借用目标词表投影的草稿,训练后的输出适配器可折叠进投影,logits 仅有浮点级差异。
- 实测 DFlash 与 EAGLE-3 两种草稿、Qwen3-8B(NVFP4)与 GPT-OSS-20B(MXFP4)两个目标,在 B200 与 DGX Spark(GB10)上、SGLang 框架下:batch 1、temperature 0 时端到端解码加速 B200 1.06–1.12x、GB10 1.13–1.44x。
- 大 batch 下同样成立:batch 32 到单卡最大 batch 可达 1.21x,且没有任何窄草稿比全宽更慢。
「Infra」频道最新
- 美国机床一半靠进口:Physical AI 的俄罗斯套娃式瓶颈 — chrisgrayson · 2026-11-20
- KB证券:明年DRAM合约价将涨40%,大客户只能拿到七成货 — tengyanAI · 2026-11-20
- 美国新规或封堵台积电三星代工的中国 AI 芯片,阿里已转单中芯 — terryyuezhuo · 2026-11-20
- 本地推理党吐槽:196GB 内存不够玩,512GB 才起步 — AIFlow_ML · 2026-11-20
- BitDecoding-FP4:原生 FP4 KV 缓存解码,精度不输 BF16 — kalyan_kpl · 2026-11-20
- 解码更快不等于 agent 先跑完:prefill 速度决定胜负 — AIFlow_ML · 2026-11-20