3060+5060 Ti 双卡张量并行跑 Qwen3.8-27B,实测 50 tok/s
bring_back_the_v10s · reddit · 2026-09-21
网友分享在混合双卡(共 28GB 显存:RTX 5060 Ti 16GB + RTX 3060 12GB、32GB 内存、Ryzen 5 5600、Linux)上用 exllamav3/tabbyAPI 跑 Qwen3.8-27B EXL3 5.0bpw 量化的成功经验。
关键配置与结果:
- 原生张量并行(tensorparallel: native)+ gpusplitauto,上下文 102K,Q8 缓存;
- 开启 MTP 草稿模型后平均约 50 tok/s(40-60 波动),关闭 MTP 降至约 22 tok/s;
- 踩坑:自动切分后 3060 仅剩 1.3GB 余量,手动改 GPU split 会导致引擎挂起,桌面环境占用约 1GB 显存是失衡原因之一;
- 已用它写出一个基于 ratatui 的小型 Rust TUI 应用。
帖内附完整 config.yml,对想在旧卡上跑 27B 模型的人可直接照抄。
「Infra」频道最新
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12
- llama-modchip：64GB 内存纯 CPU 跑 284B 模型，零 GPU — pmttyji · 2026-11-12
- Agent Substrate 计算器：预测不同负载下 agent 会话恢复速度 — pjausovec · 2026-11-12