DFlash2 为 Beam 解码提速最高 3.03 倍
vllm_project · x · 2026-10-16
Reflection 报告 DFlash2 在 GSM8K、MATH500、HumanEval、MBPP 和 MT-Bench 五个数据集上、并发 1/16/32 下实现 1.72–3.03 倍的纯解码加速,其中 GSM8K 在并发 1/16/32 分别达到 3.03×/2.51×/2.75×。
测量在分离式 prefill/decode 架构下进行,不含 prefill 时间。另一个调优观察:虽然 drafter 训练时 block size 为 16,但 K=7 反而带来更好的吞吐。
「Infra」频道最新
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16
- Vercel Sandbox Drives 正式上线:亚秒挂载 TB 级数据 — cramforce · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16