2×5080跑Qwen3.8-Flash-Next：llama.cpp之外要不要换vLLM
whatyathinkk · reddit · 2026-09-17
用户在 2×RTX 5080 + 128GB DDR5 上用 llama.cpp 跑 Qwen3.8-Flash-Next 的 Q5KXL 量化版，配合 MTP 投机解码、MoE 层 CPU 卸载（ncmoe42）等配置，达到约 100 tps prefill、18-20 tps decode。由于 NVFP4/FP8 的 .gguf 文件不多，他想知道换 vLLM/SGLang 能否在该模型上获得更好性能。帖中附完整配置参数。
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02