Inco 开源 DFlash 2 drafter:MiniMax M3.1 Flash 生成无损提速 3.5 倍
Lianhuiq · x · 2026-10-23
Inco AI 为 MiniMax M3.1 Flash 发布并开源(Apache 2.0)DFlash 2 投机解码 draft 模型,可将生成速度提升至多 3.5 倍且无损——贪婪解码输出与目标模型完全一致,采样保持其分布。
技术要点:DFlash 2 是块扩散 drafter,一次前向预测整块 token 并在每个位置保留多个候选,由轻量选择器在其中选出连贯路径;骨干中的双抽头动态卷积防止块末端质量衰减。模型卡给出 SGLang 配置(draft tokens 8、fa4 attention backend 等),实测环境为两块 GB300(TP2/EP2)、MXFP8 权重与 NVFP4 稀疏 KV cache。
「Infra」频道最新
- NVIDIA HGX Rubin NVL8 亮相 GTC 柏林：单价 120 万美元，能效比 B200 高 10 倍 — thursdai_pod · 2026-10-23
- 亚马逊放弃弗吉尼亚 122 英亩园区四座数据中心建设计划 — GaryMarcus · 2026-10-23
- 平台成粮仓，API key 成战利品：Railway、Fireworks、LiteLLM 月内接连被掠 — ccerrato147 · 2026-10-23
- Koi 论文：自校准规划器提升异构推理集群 goodput 18%、省 20% 成本 — burny_tech · 2026-10-23
- Cloudflare CEO 预言:五年内 agent 流量将是人类的 1000 倍 — 4KTV · 2026-10-23
- vLLM 详解 M3.1 Flash 部署：NVFP4 令权重缩 44.6%，并发容量升 2.7 倍 — vllm_project · 2026-10-23