Mirai Labs 提出混合解码新法
awnihannun · x · 2026-07-10
Mirai Labs 发布了一项关于大语言模型交互式 speculative decoding 的新研究。作者提出一种结合 factorized 与 autoregressive drafter 优势的混合 draft 模型，在本地 LLM 推理的 batch size=1 场景下提升草稿接受率，实验显示比自回归解码快 4.37 倍，并比当前最强公开 DFlash 基线提升 24.7%。
awnihannun · x · 2026-07-10
Mirai Labs 发布了一项关于大语言模型交互式 speculative decoding 的新研究。作者提出一种结合 factorized 与 autoregressive drafter 优势的混合 draft 模型，在本地 LLM 推理的 batch size=1 场景下提升草稿接受率，实验显示比自回归解码快 4.37 倍，并比当前最强公开 DFlash 基线提升 24.7%。