单卡 RTX 5070 12GB 跑 177B 模型,实测 11-15 tok/s
ayobluestarr · reddit · 2026-10-03
作者在 12GB 显存的 RTX 5070 + 32GB DDR4 + Ryzen 5 5600GT 平台上,用基于 llama.cpp 的专家流式方案本地运行 Qwen3.8-Flash-Next 177B(UD-IQ3XS 量化),基准 11.5 tok/s(从原有方案的约 7 tok/s 提升),日常对话达 14-15 tok/s;长编码提示生成 4,892 token、10.15 tok/s,产出可玩的单文件贪吃蛇游戏。
主要优化手段:
- 修复 Windows I/O 队列深度问题,每个 worker 单独文件句柄
- 构建页锁定(page-locked)热专家层,让 GPU 更快拉取热点专家权重
- 输出对照控制模型做质量门控,基准用独立提示集构建热文件
GitHub 仓库公开了失败尝试、基准脚本与方法论,作者征求流式方面的进一步建议。
所属事件:RTX 5070 12GB单卡跑177B模型实测11-15 tok/s(2 条相关)→
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19