QEngine 1.3.1 双 5090 跑 Qwen3.8-Flash-Next 解码 504 tok/s
Relative-Ant-9249 · reddit · 2026-10-31
Reddit 用户在 2x RTX 5090（Threadripper PRO 3975WX，251GB 内存，262K 上下文）上对比了四个引擎跑 Qwen3.8-Flash-Next，QEngine 1.3.1（INT4 AutoRound）单流解码明显最快。
关键数据：
- 解码速度：QEngine 370/439 tok/s；KV-in-RAM 模式 406/504 tok/s；约为 Strata 的 1.4-1.9 倍、调优后 vLLM 的约 3 倍（公平对比需注意 QEngine 的专家缓存对重复 prompt 有利，真实混合流量约 300-400 tok/s）
- README 只列 sm86，作者仅改 CMAKECUDAARCHITECTURES 86→120 即在 5090 上编译，启动 53 秒即开始服务
- Agentic 延迟：12 轮工具调用基准第 12 轮 prompt 读取 1.75s，与 Strata 持平，约为 vLLM 的 2 倍快
- FLASHKV=ram 把 KV cache 放进 pinned host RAM（13.5GB，约 1M token）：8 个约 58K token 的会话经 40 万 token 其他流量后全部热恢复，首响应 1.56-2.01s；VRAM 模式下只有 2/8 热恢复，其余需 8.7-9.4s 重预填充
- 质量：omp agent 套件 44/44；aider-polyglot 26/30，与 Strata INT4 在误差范围内持平
「Infra」频道最新
- 一行 torch.index_add_ 即可指纹识别具体 GPU，重启也无法伪造 — CatAstro_Piyush · 2026-10-31
- 4 天提升 67%,DeepSeek V4.1 Flash 单卡吞吐冲上 109 万 tok/s — BanghuaZ · 2026-10-31
- llama.cpp 新版 ROCm 预填充速度腰斩,9070XT 用户实测报 regression — uber-linny · 2026-10-31
- 小型 neocloud 隐忧：大批 VC 输血的初创正陷入困境 — AccBalanced · 2026-10-31
- Qwen4 若采用 HC 架构，Q4 与 Q6 量化差距将显著拉大 — Ok-Shower7286 · 2026-10-31
- 开发者观察：大量推理服务商既不擅长推理也造不出需求 — AccBalanced · 2026-10-31