4 张 8GB 3060 Ti 跑 Qwen3.8-27B：单 agent 120 t/s、150k 上下文
DontWinFrensWthSalad · reddit · 2026-09-27
一位 Reddit 用户放弃购买新显卡，把旧的矿卡 4 张 3060 Ti（每张仅 8GB 显存、功耗限制 110W）组成多卡推理平台，效果出乎意料地好。
关键做法
- 核心是张量并行（tensor parallel）：llama.cpp 不支持，先后试了 Turboderp 的 ExL3 和面向 Ampere 卡、支持 TP=4 的 HyperQwen + vLLM 方案。
- 用 ExL3 + MPT 跑 Swift-Qwen3.8-27B 可达约 70 t/s、196k 上下文。
- 换 vLLM 跑 W4A16 fast 变体后：bf16 下 150k 上下文、约 120 t/s；量化 KV cache（kv8）可解锁全 262k 上下文，但速度回落到约 70 t/s。
- 并发几乎无性能损失：可单 agent 高速运行，或 2 个并发 agent 共用大上下文。
结论是与其花一万多买一张 3090，不如升级主板 CPU 复用旧卡，多卡张量并行已是本地推理的可行路线。
「Infra」频道最新
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- Nvidia 供应承诺单季从 1190 亿飙至 2790 亿美元，锁死 2027-28 显存 — tengyanAI · 2026-11-11
- 独立研究者新优化器：24GB 显存可训 27B 模型，权重仅需 1.6bit — oguzeldereli · 2026-11-11
- 英伟达扩大与 Meta 的 Muse 合作,将向 Meta 投资 30 亿美元 — armand_ruiz · 2026-11-11
- 网友算账质疑 Anthropic:Opus 5.5 十亿美元成本大头不在算力 — teortaxesTex · 2026-11-11