Qwen 模型双卡推理优化：预填提速 10 倍实战
Comrade_Mugabe · reddit · 2026-08-28
在双 RTX 3060 + 7800X3D 环境下测试 Qwen3.8-Flash-Next 模型，作者发现 llama.cpp 默认的 -sm tensor 模式会导致 MoE 权重回退到 CPU，预填速度仅 36 tps。切换至 -sm layer 并调整 -ubatch 2048 后，预填速度飙升至 400 tps。测试还对比了 ikllama.cpp，指出其无此陷阱且速度相当，但内存占用比 llama.cpp 多约 75 GB。文章提供了具体的参数配置建议和性能数据，适合本地部署参考。
所属事件:Qwen3.8-Flash 本地部署实测：量化与多卡调优成关键(3 条相关)→
「Infra」频道最新
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
- Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16