旧显卡 RPC 跑 Qwen 27B:实测数据与排坑指南
BigPoppaK78 · reddit · 2026-08-18
作者分享了利用 5070 Ti 和 1080 Ti 通过千兆以太网运行 llama.cpp RPC，成功跑起 Qwen 3.8 27B 模型的实测数据。关键配置与发现包括：
- 性能表现：在 12k 上下文下，关注生成速度可达 36 t/s，关注预填速度可达 560 t/s。
- MTP 优化：启用 MTP 会显著降低预填速度(约 30%)；应将最强显卡置于 RPC 链末端以处理 MTP 步骤，而非首端。
- KV 量化陷阱：启用草稿模型的 KV 量化反而会减少可用上下文，与预期相反。
- 网络与批次：启用巨帧网络；不同优化目标下最佳 batch size 不同(预填 512/64，MTP 模式 1536/256)。
- 硬件搭配：8GB 显存卡若带宽足够也可胜任副卡角色。
「Infra」频道最新
- 推理比训练更重要：LLM 全年服务但仅训练一两次 — prajdabre · 2026-08-18
- 实测结合 MTP 与 ngram-mod 进行代码生成加速 — YetAnotherAnonymoose · 2026-08-18
- 特斯拉造机器人：复用 FSD 算法，难在物理常识 — 创业邦 · 2026-08-18
- USB4STREAM 支持合并进 Linux 7.2，推理运行时是否跟进？ — voyager256 · 2026-08-18
- 5 台双 L40 主机 vLLM 部署后，每卡约 5GB 显存闲置如何利用？ — gulensah · 2026-08-18
- AltRouter 拟建开源资源池,低成本托管本地模型 — Dabber43 · 2026-08-18