4x V100 实测:1Cat 凭专家缓存解码 140 tok/s,碾压 Strata 的 75
Acceptable_Bell_1791 · reddit · 2026-11-16
Reddit 用户在 4x 16GB Tesla V100(PCIe 3、EPYC 7542、八通道 DDR4)上对比 Qwen3.8-Flash-Next UD-IQ3XXS 量化模型的本地推理速度,对比对象为 Strata 及其分叉 vs 新近加入 expert caching 的 1Cat:
- 单流解码:1Cat 全面领先,约 125-143 tok/s,Strata 约 75-79 tok/s
- Prefill:中短 prompt(2.6k-30k tokens)1Cat 大幅领先(如 2.6k 时 1850 vs 861 tok/s);96.5k 长 prompt 时 Strata 反超(3384 vs 2649)
- MTP draft 接受率 Strata 略高(约 0.6-0.7),但 1Cat 仍胜出——作者认为若 1Cat 接受率提高优势会更大
- 同一 103K prompt 连跑三次:1Cat 解码从 99.9 升到 138.4 tok/s(+24%),Strata 仅 +10%
结论:expert caching 让 1Cat 在消费级/旧卡本地部署上解码速度几乎翻倍。
「Infra」频道最新
- DGX Spark 本地跑 Qwen3.6+Qwen-Image，全自动每日猜谜网站零 API 费 — jbsan · 2026-11-16
- audio.cpp 0.9.5 上线本地实时数字人语音聊天,5090 延迟约 850ms — Acceptable-Cycle4645 · 2026-11-16
- audio.cpp 0.9.4 上线本地实时数字人语音聊天,5090 延迟约 850ms — Acceptable-Cycle4645 · 2026-11-16
- Exo 再购两台 DGX Spark，押注本地推理对抗开源权重禁令 — kuchaev · 2026-11-16
- 美财长电视上质疑英伟达"违规销售吹高营收" — ShakeelHashim · 2026-11-16
- AI「卖铲人」交易瓦解：数据中心概念股领跌，FT 分析投资者信心动摇 — bigdata · 2026-11-16