Qwen3.8-Flash-Next 满上下文首 token：SGLang 35 秒，llama.cpp 要 258 秒
FantasticNature7590 · reddit · 2026-09-09
开发者在同一台工作站（RTX PRO 6000 Blackwell 96GB + 9950X + 96GB DDR5）上横评 Qwen3.8-Flash-Next 在 llama.cpp、SGLang、FreeToken 三引擎下的表现，并测试了多个新 PR 与投机解码。
核心数据
- 26.2 万 token 满上下文下，首 token 延迟：SGLang 35.4s、FreeToken 80.4s、llama.cpp+MTP 210.2s、llama.cpp 基线 258.4s，最快最慢差 7.3 倍。
- 上下文扫描中 llama.cpp 解码速度从 101.9 掉到 20.2 tok/s；FreeToken 从 100.1 到 94.8 tok/s，衰减平缓得多。
- llama.cpp MTP fork 投机解码在 8K/32K 编码测试中解码提速 1.63x/1.69x；n-gram 投机在代码负载 +6.8%，散文负载零命中。
- 精度方面 GSM8K 95.22–95.75%、MATH-500 92.20–93.00%，各配置间无显著差异。
- 启动时间相反：llama.cpp 16s 出答案，SGLang 108s、FreeToken 126s。
注意：各栈量化格式（UD-IQ4XS GGUF vs NVFP4）、KV-cache 格式、内存布局与投机解码配置不同（SGLang 用 NEXTN draft head，FreeToken 未开启投机解码），所以结果不单纯隔离引擎软件本身；仓库附全部配置可查。作者还诚实撤回了 PLE 直读 PR 的对比——发现重命名 flag 被忽略、直读模式实际未生效。
「Infra」频道最新
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
- 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27