DLoop 循环式投机解码:目标模型前向减少,实测加速提升 5-41%
pmttyji · reddit · 2026-10-09
NAVER AI 发布论文《DLoop: Looped Speculative Decoding》,改进投机解码的验证时机:
- 观察:随着草稿模型变强,目标模型经常全部接受一个 drafting 阶段的 token,但每次起草后仍要验证,造成多余的目标模型前向计算;
- 方法:DLoop 允许在草稿模型保持置信时连续执行多个 drafting 阶段,再一次性验证累积 token;配套的 loop-aware 训练让草稿模型在额外阶段面对自身未验证 token 的隐藏状态时仍保持可靠;
- 效果:在 EAGLE-3、DFlash、Domino、DSpark 及多 token 预测模块等方法上,墙钟加速比提升 5-41%,解码保持无损;
- 代码即将在 GitHub(naver-ai/DLoop)开源,目前内部审查中。
所属事件:NAVER 提出 DLoop 循环式投机解码，推理加速最高 41%(2 条相关)→
「Infra」频道最新
- 三星季营业利润预计暴涨 780%,AI 热潮下 DGX Spark 内存之谜有解 — chemist_slime · 2026-10-09
- TRL v1.15 融合 LM head，峰值显存省 82%、序列长 7 倍 — QGallouedec · 2026-10-09
- 在核显上跑 22B 视频模型 LTX-2.5：权重留 NVMe 逐层流式加载 — Business_Swordfish_5 · 2026-10-09
- 亚太数据中心缺口 2800 亿美元，柔佛成最大新建市场 — shashib · 2026-10-09
- Stepped MoE 论文:单个模型可缩放为 1-4B,端侧精度反超同级稠密模型 — pmttyji · 2026-10-09
- OpenTelemetry 提出原生可观测设计:产品天然可对接任意观测栈 — dhruv_ahuja · 2026-10-09