WaveFront Decoding 让循环语言模型解码提速最高 4.81 倍
SNU-VLSI · hf · 2026-09-29
循环语言模型通过权重共享的 block 反复调用提升有效深度,但每个 token 需 T 次串行调用,解码延迟高。SNU-VLSI 提出免训练的自推测解码框架 WaveFront Decoding(WFD):
- 利用中间循环输出作草稿预测、权重共享允许不同位置/深度的 token 状态合批的特性
- 将混合深度状态组织成对角「波前」,在同一循环调用内并发执行起草与验证,不同于分阶段的 draft-then-verify
- 在 Spec-Bench 六类任务上,Ouro-2.6B 提速 2.42 倍,Huginn-3.5B 提速 3.54 倍;结合跨循环 KV 共享后 Huginn-3.5B 达 4.81 倍
- 代码开源:github.com/summerbro-hhj/wavefront-decoding
「Infra」频道最新
- Uber Eats 排序模型每秒 800 万次预测,工程团队公开特征一致性方案 — AxSaucedo · 2026-09-29
- Qdrant 推出 Constella 研究预览，换查询嵌入模型无需重建全部向量 — qdrant_engine · 2026-09-29
- 124M 小模型配 65B embedding，研究员戏谑提出 AFED 分离架构 — YouJiacheng · 2026-09-29
- Oracle 30年期利差半年走阔至+180bp，新墨西哥Stargate园区因电力发不可抗力通知 — julsimon · 2026-09-29
- 贝恩：AI 需 2031 年前年入 6 万亿美元才够回本，缺口 4.2 万亿 — rohanpaul_ai · 2026-09-29
- 算账：Meta Muse 每用户成本 51 美元，免费模式难以为继 — bookwormengr · 2026-09-29