MDraft 用 on-policy 蒸馏改进扩散 drafter,接受长度最高提升 13.4%
LucaAmb · x · 2026-11-04
pmolodyk 发布 MDraft:一种面向扩散 drafter 的 on-policy 蒸馏方法,用于改进并行起草(speculative decoding 场景)。
在 T=1 时,相对 DFlash 的平均接受长度提升:
- Qwen3-4B 验证器:+11.9%(5.274 → 5.903)
- Qwen3-8B 验证器:+13.4%(5.070 → 5.748)
数据为六个 benchmark 的均值(含 bonus token)。关键卖点是部署成本几乎为零:推理框架不变,只需替换 drafter 的 checkpoint。
「研究」频道最新
- 零微分几何前置的信息几何入门教程发布,附视频与讲义 — FrnkNlsn · 2026-11-05
- 结构引导 RNA 基础模型 structRFM 登 Nature,2100 万序列对训练 — EricTopol · 2026-11-05
- Yandex 开源 Yambda-5B：49 亿条音乐行为交互数据集 — teortaxesTex · 2026-11-05
- MIT 等研究：投机解码可提升长程智能体推理精度 — kastnerkyle · 2026-11-05
- Nature 论文 AutoDNA：AI 原生实验室实现自主核酸实验全流程 — EricTopol · 2026-11-05
- 再添一击:研究显示 Grad-CAM 定位胸片病灶命中率仅 0.575,放射科医生为 0.888 — zakkohane · 2026-11-05