TensorSharp 解码吞吐达 llama.cpp 两倍，GLM-5.3-Flash 实测
fuzhongkai · reddit · 2026-08-29
作者在 GLM-5.3-Flash（unsloth GGUF UD-Q2KXL，101GiB，双 GPU）上对比 TensorSharp 与 llama.cpp（PR #27754，CUDA 12.8）：
- Prefill 两者几乎持平：pp2048 约 2070 t/s vs 2014 t/s，pp32768 为 1483 vs 1446。
- Decode 快一倍：tg64 达 73.5 t/s vs 36.6 t/s（2.01×）；长上下文下依然坚挺，17.7K prompt 后 40.9 t/s，36K 后 28.2 t/s。
- 权重 17 秒从热缓存加载，CPU-MoE 卸载（前 10 层专家驻留内存）可解码 35–40 t/s。
解码翻倍的原因：TensorSharp 用形状为键的 LRU graph cache 复用已 CUDA 捕获的计算图，避免逐 token 重建；GLM 的 34 层 KDA 加超连接使逐 token 图又深又碎，恰好是重建开销最痛的场景。Prefill 是 GEMM bound，无此优化空间，因此两边接近。
「Infra」频道最新
- SGLang Day-0 支持 FLUX 3 Image Klein：单图 10 参考图，BF16/FP8/NVFP4 多精度 — ying11231 · 2026-10-16
- 英伟达 Nemotron 3.5 Super VL 上线 CoreWeave：12B 激活参数多模态 MoE，输入仅 $0.25/百万 tokens — wandb · 2026-10-16
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16