RTX 5090 跑 33B Q4 模型约 86 tokens/s：买显存带宽别买 TFLOPS
AIFlow_ML · x · 2026-10-28
一条实用的本地部署算账：RTX 5090 显存带宽 1,792 GB/s，跑 Q4 量化的 33B 模型（约 21 GB）理论最好情况约 86 tokens/s（未计上下文影响）。结论：本地推理速度瓶颈在显存带宽而非算力，选卡时应「买内存速度，不是 TFLOPS」。
「Infra」频道最新
- EmbeddingGemma2变身20ms实时学习端点，CPU上跑多模态 — michellechen · 2026-10-28
- 希捷 AI 概念大涨 142% 后回落，但 HDD 紧缺红利仍在扩大 — TiernanRayTech · 2026-10-28
- NetBox Labs 合作瞄准 AI 工厂：以 time to first token 为核心指标 — ai · 2026-10-28
- Epoch AI 数据:美国独占全球 72% AI 算力,欧盟仅 5% 远低于经济体量 — Jsevillamol · 2026-10-28
- 英伟达与甲骨文合作,Vera Rubin NVL72 集群扩至数吉瓦级 — Beth_Kindig · 2026-10-28
- GLM 5.3 Flash NVFP4 实测:4 卡 6000 WS 限 450W,V2 吞吐较 V1 大幅提升 — TheZachMueller · 2026-10-28