实测 DFlash2 加速 Qwen3.8 27B:代码提速至 200tk/s
Hefty_Wolverine_553 · reddit · 2026-08-19
Reddit 用户在 RTX 5090 上实测了 Inco AI 发布的 DFlash2 推理加速技术(配合 Qwen3.8 27B GGUF 模型)。测试显示,在生成代码时,DFlash2 相比之前的 MTP 提速明显,短时爆发可达约 200 tokens/s,整体单次代码生成请求平均约 120 tokens/s(此前 MTP 平均约 140 tokens/s)。但在思考类任务中速度略降至 80-90 tokens/s。副作用是显存占用增加,上下文长度需从 220k 降至 160k。作者提供了一套详细的启动参数配置。
「Infra」频道最新
- OCP 大会最后一日,Nvidia MGX 电源机架场次仍座无虚席 — firstadopter · 2026-10-16
- Intel 用 4 张 160GB 风冷 GPU 卡跑通 816B 参数 Muse Spark Open — BenBajarin · 2026-10-16
- 两台 Mac Studio 跑通 816B 参数模型:4 万美元替代 50 万算力 — charles_irl · 2026-10-16
- Filecoin 主网上线六年,转向 AI 时代存储并推出 S3 对象存储 — juanbenet · 2026-10-16
- PrismML 发布 Bonsai 2 三值模型:9B 仅 2GB 可跑手机 — gajesh · 2026-10-16
- Artificial Analysis 将测试 4-bit 量化与 Metal 投机解码引擎 — ArtificialAnlys · 2026-10-16