复旦 D3D 扩散起草实现异步投机解码,Qwen3 解码提速最高 7.48 倍
pmttyji · reddit · 2026-11-07
复旦大学团队发布 D3D(Decoupled Diffusion Drafting),一种用于异步投机解码的独立扩散起草模型,论文、代码与模型权重均已开源。
- 核心思路:传统目标条件扩散起草器每生成一个新块都要等待目标模型更新的隐藏状态,起草与验证被迫串行。D3D 用块级去噪加辅助自回归监督,让起草器摆脱对目标隐藏状态的依赖,可在验证期间同时起草后续块,实现异步投机解码。
- 层剪枝:按对接受长度的影响逐步剪层,36 层剪掉 5 层仍保留 99% 以上平均接受长度。
- 性能:七个基准上,以 Qwen3-8B / Qwen3-32B 为目标模型平均加速 5.00× / 5.71×(对比 DFlash 的 4.03× / 3.67×);GSM8K + Qwen3-32B 上达 7.48×。
- 开源资源:发布 6 个基于 Qwen3 的起草 checkpoint(含 1.7B/8B 及剪枝版),训练数据基于 Open-PerfectBlend 提示构造,共约 140 万样本级语料,全部在 Hugging Face 开放。
所属事件:复旦开源 D3D 扩散起草模型，Qwen3 解码提速至 7.48 倍(2 条相关)→
「Infra」频道最新
- AI 芯片股暴跌后反弹,AMD 与英伟达回升但分析称或只是暂时 — emmanuelvivier · 2026-11-07
- 东京电子涂胶显影机明年增速或超 50%，远超史上最高的 43% — zephyr_z9 · 2026-11-07
- 开源 fork 让 2019 年 Radeon VII 跑 47GiB MoE，解码提速 49% — milpster · 2026-11-07
- 极客把 SmolLM-135M 塞进纯 SQLite：40秒才吐一个 token — cneuralnetwork · 2026-11-07
- 学者讽黄仁勋：向中国卖芯片无需「间谍」说服，他自己就想卖 — pmddomingos · 2026-11-07
- Anthropic S-1 自认亏损将持续，年承诺支出高达 1100 亿美元 — GaryMarcus · 2026-11-07