RTX 5060 Ti 16GB 本地跑 Qwen2.5-14B 实测：生成速度达 44 t/s
Primary_Olive_5444 · reddit · 2026-08-13
一位开发者在 RTX 5060 Ti 16GB 显卡上本地运行 Qwen2.5-14B-Instruct（Q4KM 量化版本），分享了具体的性能数据：
- 处理速度：Prompt 处理速度达到 667.8 t/s，生成速度为 44.0 t/s。
- 运行参数：上下文长度设置为 32768，并启用了全部 GPU 层（-ngl 99）。
- 优化探讨：发帖者认为硬件仍有余量，寻求进一步提升 Token 吞吐量的方法，并希望社区推荐适合该 16GB 显存硬件的最新开源模型。
「Infra」频道最新
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- CoreWeave 三位联创 IPO 后套现 33 亿美元,信贷风险引股价震荡 — SumitGup · 2026-10-16
- 传闻新模型 cherry pi 小到能跑在树莓派上? — sull · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16