2DSD 投机解码加速 Looped LM,最高达 7.64 倍且更省 KV 内存
LucaAmb · x · 2026-11-20
Looped LM(循环语言模型)通过增加深度而非参数量来提升能力,但每多循环一次都会增加 KV cache 与逐循环延迟。minseo Kim 团队提出 2DSD(Two-Dimensional Speculative Decoding),在 token 和深度两个维度上做投机解码,并配合跨循环 KV 共享。
- 相比标准自回归解码最高加速 7.64 倍,同时 KV 内存更低
- 配套发布了 Hugging Face 模型集合,含 Ouro-1.4B/2.6B-Thinking、Nanbeige4.2-3B、Dory1.0-4B 等模型改造后的 shared-KV 版本及对应 drafter(0.4B/1B)
「Infra」频道最新
- 2DSD 投机解码可迁移至各类循环架构,吞吐最高提升 8 倍 — LucaAmb · 2026-11-20
- 量子计算瞄准 AI 工作负载,IBM 与 QuEra 公布容错路线图 — mikeflache · 2026-11-20
- 腾讯财报电话会:最新出口管制将加速中国半导体自给自足 — basedjensen · 2026-11-20
- Chorus 论文:共享 n-gram 嵌入表缩小 87%,性能反超 DeepSeek Engram — brown2green · 2026-11-20
- 内存仅 20MB 的浏览器 IDE px0 发布,作者谈如何逐层做减法 — arpit_bhayani · 2026-11-20
- 清昴智能发起昇腾 950DT 万卡级 Token 工厂,算力利用率从 40% 提至 80% — 量子位 · 2026-11-20