Qwen3.8-27B 长上下文解码提速逾 3 倍

技术社区分享针对 Qwen3.8-27B 模型的推理优化成果:借助 DFlash2 与 XQA 配置,该模型在 192K 长上下文下的解码速度显著提升。实测于 RTX PRO 6000 Max Q 显卡,解码吞吐量从约 26 tok/s 提升至 92.9 tok/s,提速约 3 至 3.5 倍,大幅改善长文本场景的生成效率。

2026-08-22 ~ 2026-08-23 · 2 条相关