旧显卡 RPC 跑 Qwen 27B:实测数据与排坑指南
BigPoppaK78 · reddit · 2026-08-18
作者分享了利用 5070 Ti 和 1080 Ti 通过千兆以太网运行 llama.cpp RPC，成功跑起 Qwen 3.8 27B 模型的实测数据。关键配置与发现包括：
- 性能表现：在 12k 上下文下，关注生成速度可达 36 t/s，关注预填速度可达 560 t/s。
- MTP 优化：启用 MTP 会显著降低预填速度(约 30%)；应将最强显卡置于 RPC 链末端以处理 MTP 步骤，而非首端。
- KV 量化陷阱：启用草稿模型的 KV 量化反而会减少可用上下文，与预期相反。
- 网络与批次：启用巨帧网络；不同优化目标下最佳 batch size 不同(预填 512/64，MTP 模式 1536/256)。
- 硬件搭配：8GB 显存卡若带宽足够也可胜任副卡角色。
「Infra」频道最新
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16