双 3060 跑 Qwen 27B Q4 量化，实测生成速度约 44-50 tok/s
jacek2023 · reddit · 2026-09-26
作者平时用 4x3090 跑 Qwen3.8-27B（parallel=2 同时跑两个 agent），因需临时挪用机器，改在 2xRTX 3060 的机器上用 llama.cpp 跑 Qwen3.8-27B 的 UD-Q4KM 量化版。
关键做法与结果：
- 使用 llama-server，开启张量并行（-sm tensor）、FlashAttention、50K 上下文、ngram-mod + draft-mtp 推测解码（draft 最多 3 token）、preservethinking 等参数，完整命令见原文
- 实测速度：生成约 43-50 tok/s，prompt 处理可到 198 tok/s，日常可用
- 结论：老 3060 双卡对本地 LLM 仍有实用价值
「Infra」频道最新
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- Nvidia 供应承诺单季从 1190 亿飙至 2790 亿美元，锁死 2027-28 显存 — tengyanAI · 2026-11-11
- 独立研究者新优化器：24GB 显存可训 27B 模型，权重仅需 1.6bit — oguzeldereli · 2026-11-11
- 英伟达扩大与 Meta 的 Muse 合作,将向 Meta 投资 30 亿美元 — armand_ruiz · 2026-11-11
- 网友算账质疑 Anthropic:Opus 5.5 十亿美元成本大头不在算力 — teortaxesTex · 2026-11-11