DFlash2 给 Beam 解码提速最高 3.03 倍,GSM8K 并发 1 场景达成
vllm_project · x · 2026-10-16
vLLM 系列更新:DFlash2 加速 Reflection Beam 的解码路径,Reflection 报告在 GSM8K、MATH500、HumanEval、MBPP、MT-Bench 上、并发 1/16/32 下获得 1.72–3.03 倍纯解码加速,GSM8K 分别达 3.03×/2.51×/2.75×。测试采用 prefill/decode 分离架构,不计 prefill 时间。另据 Reflection 报告,尽管 drafter 训练时 block size 为 16,K=7 时吞吐更佳。
所属事件:vLLM 为 Reflection Beam 提供首日支持与全套优化(10 条相关)→
「Infra」频道最新
- 旧金山将办算力交易市场：预审买家卖家现场签约束交易 — Scobleizer · 2026-10-17
- eigenrobot 欢迎数据中心落户：盼其止住连年两位数房产税涨幅 — eigenrobot · 2026-10-17
- 开发者吐槽 Claude 桌面版比本地跑 Qwen 3.8 Next 更耗电 — andrew_n_carr · 2026-10-17
- Cisco OCP 解读：机架仍是 scale-up 边界，Silicon One 对冲 NVIDIA — BenBajarin · 2026-10-17
- Credo 有源 LED 光缆亮相 OCP：铜缆 130 亿美元市场通往短距光互连 — BenBajarin · 2026-10-17
- Broadcom OCP 解读：Tomahawk 之外，Jericho 才是被低估的一半 — BenBajarin · 2026-10-17