双 A100 80GB 跑 Qwen3.8 Flash:单用户 70tk/s,多用户骤降至 15
vitamins1000 · reddit · 2026-10-13
Reddit 用户求助:在一台 2U EPYC 7402P 服务器上通过 Proxmox 直通双 A100 80GB PCIe,用 llama.cpp 跑 Qwen3.8 Flash(UD-Q4KXL 量化 + Q80 MTP draft),配置 7 个并行槽位、每槽 262k 上下文(总 1.8M)、q80 K/V 缓存。
实测单用户生成速度 50-70 tk/s,但并发 2-3 个会话时骤降至 10-15 tk/s。作者还提到 PCIe 只跑在 Gen4 x8(因装了奇怪的 DPU 卡)。他用例是长时间 agentic 编码(主要是跑 Linux 命令、探测硬件设备),偏好 MoE 模型。
求教方向:是否该换 vLLM,或者每张卡单独跑一个 qwen3.6-35b-a3b 实例。
「Infra」频道最新
- Arm 列 AI 数据中心三大 CPU 角色,预测 CPU 市场五年增至 3000 亿美元 — firstadopter · 2026-10-13
- 四种 AI 算力“修复”各自制造新瓶颈:散热、激光、翘曲接踵而至 — BenBajarin · 2026-10-13
- Meta Hyperion 将成全球首个 5GW 数据中心,占地 4000 英亩 — bookwormengr · 2026-10-13
- 家庭 AI 机房实测:双 DGX GB300 跑 DeepSeek 达 5774 tok/s — julianharris · 2026-10-13
- AMD 发布第六代 EPYC "Verano",剑指 AI 时代的 CPU 算力 — ryanshrout · 2026-10-13
- AMD CEO 苏姿丰:个人、企业与智能体 Agent 需要三类不同算力 — firstadopter · 2026-10-13