DStill 论文：蒸馏多步去噪轨迹，块扩散投机解码提速至 6.45 倍
LucaAmb · x · 2026-11-02
arXiv 论文《DStill: Trajectory Consistency Distillation for Accelerated One-Step Drafting in Block Diffusion Speculative Decoding》，研究如何加速块扩散投机解码。
问题：离散扩散中单步起草受 token 因子化误差限制——同一 masked 块内的各 token 预测互不条件化，草稿不一致、接受长度受限。迭代精炼可缓解，但多轮前向增加起草成本。
方法（两阶段）：
- Stage I：训练 drafter 补全部分揭示的块，先提交高置信度 token，其余位置以其为条件
- Stage II：用 drafter 自身的精炼轨迹，通过课程学习（从部分掩码逐步过渡到全掩码）蒸馏出单步学生模型
结果：在三个模型家族的推理、数学、代码基准上，接受长度显著提升，相比自回归解码最高提速 6.45×，推理时起草保持单次前向。
「研究」频道最新
- Adobe 与 UCLA 提出 Tev：用可验证进度奖励破解长程 Agent 训练难题 — jiqizhixin · 2026-11-02
- 老招新用：path tracing 加 portal 采样，64spp 噪点显著下降 — ssh4net · 2026-11-02
- Marcel Böhme 提出漏洞引导加固哲学：为何安全永远无法一劳永逸 — mboehme_ · 2026-11-02
- Perplexity 开源研究型基准 WANDR：500 任务、17 万条证据点 — thisguyknowsai · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02
- 蚂蚁团队发布统一反伪造模型，AI视频鉴伪达96% — inclusionAI · 2026-11-02