本地 LLM 速度瓶颈解析:4090 与 5090 性能差异

Viktri1 · reddit · 2026-08-19

用户探讨了影响本地大语言模型(LLM)速度的核心因素，包括 Token 效率、显存/内存带宽以及 Prefill 阶段受 GPU 算力和提示词长度的影响。该用户目前在 RTX 4090 上运行 Qwen 3.8 27B 模型，平均预填充速度为 1200 tok/s，生成速度约 80 tok/s。用户提出疑问：为了提升速度，是否必须升级到 RTX 5090，而非仅增加 4090 的显存。分析认为，显存大小主要影响能运行的模型精度和缓存，而生成速度(Tok/s)受限于 GPU 算力，因此 5090 相比 4090 的主要优势在于更高的生成速度，而非容量。此外，用户对比了 Qwen 与 Muse 模型在编码任务上的表现，发现尽管 Muse 更快，但在复杂编程任务上能力显著弱于 Qwen。