TensorSharp 跑 Qwen 3.8 Flash Next 性能实测
fuzhongkai · reddit · 2026-09-01
在双 A100 环境下对比 TensorSharp 与 llama.cpp 运行 Qwen 3.8 Flash Next (UD-Q2KXL 量化) 的性能。数据显示，在长提示词处理 (pp2048) 上 TensorSh arp 领先明显 (单卡 1.44倍，双卡 1.35倍)，但在短提示词和生成阶段 (tg64) 略逊于 llama.cpp。
「Infra」频道最新
- Qwen3.8 Flash 在双 DGX 上跑出 415 tok/s — NVIDIAAI · 2026-09-01
- 曝 OpenAI 自研芯片 Jalapeno：LLM 推理速度达 1500 tokens/s — firstadopter · 2026-09-01
- 腾讯混元 AngelSlim：Hy4 模型压缩至 214GB 并支持异构协同 — 腾讯混元 · 2026-09-01
- 三星为英伟达改推8层HBM4E，速率要求提高20% — 创业邦 · 2026-09-01
- 为何 Llama.cpp 中增大上下文反而提升了推理速度？ — satnl · 2026-09-01
- Linux 内核更新，Mac 可通过 USB-C 直连 Linux — No-Name-Person111 · 2026-09-01