DFlash 整块并行草拟破解投机解码瓶颈

incoai 联合创始人 Zhijian Liu 在 Runtime 演讲中指出，传统投机解码逐 token 草拟本身已成为延迟瓶颈。其团队提出的 DFlash 改为一次并行草拟整个 token 块，实测可多接受 21% 的 token，而延迟仅增加 1.3%，显著提升推理加速效果。

2026-11-06 ~ 2026-11-06 · 2 条相关

• DFlash 2 并行草拟破解投机解码瓶颈:多接受 21% token 仅增 1.3% 延迟 — songhan_mit · 2026-11-06
• 逐 token 打草稿成新瓶颈，DFlash 改为整块并行草稿加速推理 — Lianhuiq · 2026-11-06