单卡 RTX 5070 跑 Qwen 177B:专家流式优化后达 11-15 tok/s
ayobluestarr · reddit · 2026-10-03
作者分享在 RTX 5070 12GB + 32GB DDR4 + Ryzen 5 5600GT 上用 llama.cpp 专家流式方案跑 Qwen3.8-Flash-Next 177B(UD-IQ3XXS)的实测:基准 11.5 tok/s(原方案约 7),日常对话 14-15 tok/s,长编码 prompt 生成 4892 token、10.15 tok/s,产出可玩的单文件 Snake 游戏。
关键优化点:
- 修复 Windows I/O queue-depth 问题,每个 worker 单独文件句柄
- 构建页锁定(page-locked)热专家层,让 GPU 更快拉取热专家权重
- 输出经对照模型质量门控,基准方法与失败尝试均开源在 GitHub
作者征集流式方面的进一步建议。
所属事件:RTX 5070 12GB单卡跑177B模型实测11-15 tok/s(2 条相关)→
「Infra」频道最新
- Anthropic 算力支出年增 4 倍超 OpenAI,Q3 单季烧 100 亿美元 — scaling01 · 2026-11-19
- 东南亚银行停贷,泰国数据中心协会称 12 个月内 GPU 订单取消额达 180 亿美元 — SumitGup · 2026-11-19
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19