2DSD 投机解码加速 Looped LM,最高达 7.64 倍且更省 KV 内存

LucaAmb · x · 2026-11-20

Looped LM(循环语言模型)通过增加深度而非参数量来提升能力,但每多循环一次都会增加 KV cache 与逐循环延迟。minseo Kim 团队提出 2DSD(Two-Dimensional Speculative Decoding),在 token 和深度两个维度上做投机解码,并配合跨循环 KV 共享。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →