2DSD 投机解码加速循环语言模型最高 8 倍
minseo Kim 团队提出 2DSD(Two-Dimensional Speculative Decoding)方法,针对 Looped LM 通过增加深度而非参数量提升能力、但循环次数增加会加重 KV cache 与延迟的问题进行加速,最高可达 7.64 倍且更省 KV 内存。Arnav Chavan 指出该方法开辟了投机解码的新维度,不仅适用于 Looped AR 模型,还可迁移到 Diffusion 等任意循环架构,吞吐最高提升 8 倍。
2026-11-20 ~ 2026-11-20 · 2 条相关
- 2DSD 投机解码可迁移至各类循环架构,吞吐最高提升 8 倍 — LucaAmb · 2026-11-20
- 2DSD 投机解码加速 Looped LM,最高达 7.64 倍且更省 KV 内存 — LucaAmb · 2026-11-20