DFlash 2 推出块扩散推测解码，显著加速 GLM-5.3-Flash
songhan_mit · x · 2026-08-28
Inco AI 发布了 DFlash 2 草稿模型，利用块扩散（block-diffusion）技术进行推测解码，旨在加速 zai-org/GLM-5.3-Flash 的推理速度。
- 技术原理：DFlash 2 不是一个独立的语言模型，它在推测解码服务器内运行，通过单次传递预测整块令牌，并使用双击动态卷积保持草稿质量，确保无损解码（贪婪输出与目标模型完全一致）。
- 部署方式：需配合 SGLang 使用，通过指定 speculative-algorithm 为 DFLASH 加载。
- 性能评测：在 GB300 GPU 上的测试显示，该方案在保持官方推荐采样参数（temperature 1.0, top-p 0.95）的同时，显著提升了吞吐量，尤其是在高并发场景下。
所属事件:Inco AI 发布 DFlash 2 草稿模型，GLM-5.3-Flash 推理提速 2.8 倍(3 条相关)→
「Infra」频道最新
- 黄仁勋谈主权 AI：芯片只是工具，数据与知识才命脉 — rohanpaul_ai · 2026-10-15
- 昇腾 CANN 将直播 950 超节点预训练 DeepSeek V4 参考实践 — teortaxesTex · 2026-10-15
- Cloudflare 数据：Yandex 数据中心遇袭后，恶意机器人只是换了网络 — banteg · 2026-10-15
- OpenAI 英国基建团队扩招:端到端负责可靠性难题 — whoiskatrin · 2026-10-15
- Rust 开源 XERJ 一键索引全栈数据,Agent 检索比 grep 省 40 倍 token — xerj-org · 2026-10-15
- TokenSpeed 冲上 GitHub 热榜:主打 Blackwell/Rubin 的极速 LLM 推理引擎 — lightseekorg · 2026-10-15