开源扩散起草器 DynaDFlash:投机解码接受长度提升 5%
charles_irl · x · 2026-11-13
团队在 Modal 提供 5000 美元算力支持下,基于 DFlash 推出 DynaDFlash,探索用扩散语言模型做投机解码(speculative decoding)。
核心创新是训练了一个扩散起草器(drafter),可动态决定在每一层应注入目标模型的哪些上下文,以最高效地起草 token。在 MetaMathQA 数据集评测中,相比基线:接受长度提升 5%,吞吐量提升 4.1%。
完整博客、源代码与模型权重均已公开。
「Infra」频道最新
- 算账贴：三年仅百余 K 芯片流向，GPU 出口管制确实奏效 — bookwormengr · 2026-11-13
- NIDO 开源本地 AI 助手:模型、记忆、文档全留手机端离线运行 — NIDO_007 · 2026-11-13
- NVIDIA 研究员嘲讽美国算力路演：华为和 DeepSeek 闷声做自己的事 — suchenzang · 2026-11-13
- Azure SQL Always Encrypted:数据库读不了数据也能跑范围查询 — adnan_hashmi · 2026-11-13
- Liquid AI 的 LFM 在 MacBook Pro 上以 120 tps 跑出「大学毕业生级」智能 — JosephJacks_ · 2026-11-13
- INFER/CON 推理大会下周登陆旧金山，聚焦 RL 推理与长时 Agent — samsja19 · 2026-11-13