NAVER 提出 DLoop:投机解码连续起草多轮再验证,加速提升 5-41%
naver-ai · hf · 2026-10-08
NAVER AI Lab 提出 DLoop,一种「循环式」投机解码方法,减少大模型推理中不必要的目标模型前向计算。
- 观察:随着草稿模型变强,目标模型经常一次性接受整段草稿 token,但每次起草后仍要跟一次验证,造成浪费。
- 方案:DLoop 在草稿模型保持自信时连续进行多轮起草,再一次性验证累积的全部 token;配合「循环感知训练」让草稿模型在自己未验证 token 的隐状态下依然可靠。额外花费草稿模型前向,换取更少的目标模型验证前向。
- 结果:在 EAGLE-3、DFlash、Domino、DSpark 及多 token 预测模块等多种投机解码方法上,墙钟加速提升 5%–41%,且保持无损解码。代码将开源。
「Infra」频道最新
- OpenRSI 智能体产出 3 项优化被 SGLang-Omni 官方合入 — yuz9yuz · 2026-10-08
- 光收发芯片为何输出波导要倾斜？作者再追问端面角度设计的门道 — jwt0625 · 2026-10-08
- 中国电力过剩反成数据中心红利，算力供应链现「用电反差」 — teortaxesTex · 2026-10-08
- 变压器交货从500天飙至1120天，YC 合伙人称之为创业新机会 — ycombinator · 2026-10-08
- MIT 研究员用 AI 给数据中心节能，降低宕机与能耗 — nordicinst · 2026-10-08
- FT 三部曲首篇:实探乌兰察布到韶关的中国 AI 算力大基建 — zijing_wu · 2026-10-08