双 5060 Ti 跑 Qwen3.8-Flash-Next 仅 10 t/s,楼主求解优化配置
MkGod · reddit · 2026-09-19
Reddit 用户在双 RTX 5060 Ti 16GB(共 32GB 显存)+ 96GB DDR4 上,通过 Unsloth Studio(llama-server 后端)运行 Qwen3.8-Flash-Next-UD-Q3KXL,寻求配置建议。
已尝试的配置:
- 专家卸载到 CPU:--cpu-moe -ngl 99 -b 1024 -ub 512 -fa on
- 65k 上下文窗口
- q40 KV cache
- MTP 推测解码(draft 接受率约 87%)
结果 decode 仅约 9.5–10 t/s,prefill 12–38 t/s。他注意到社区用双 3090 加新 expert-cache PR(#27861 / #28223)和锁定主机内存能跑到 25–40 t/s,但在自己的 32GB 显存 + DDR4 条件下不确定出路:是彻底弃用 MTP、用 --load-mode none 绕过 mmap,还是自编译带 LRU expert cache 的 llama.cpp?还是说本质上已被内存带宽卡死?
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04