RTX 5090 单卡跑 27B 模型：附多卡与边缘部署性能参数
Fz1zz · reddit · 2026-08-13
一位开发者在入手 RTX 5090 后，分享了本地部署大模型的性能表现与硬件使用建议。
- 主力机配置：使用 5090 单卡运行 Qwen3.6-27B 模型，开启了 16 万上下文、Flash Attention 以及多 token 预测（MTP）等加速参数。作者认为增加 4070 Ti Super 组建双卡不仅难以提升速度，反而可能造成拖累，倾向于出售旧卡。
- 边缘设备表现：在搭载 AMD Ryzen 7 8845HS 处理器的 NucBox K8 Plus 迷你主机上，利用核显与统一内存分配技术运行 Gemma-4-26B 模型，实现了约 343 t/s 的预填充速度和 31.4 t/s 的解码速度。
「Infra」频道最新
- 黄仁勋披露：每 GPU 年收约数千美元软件费，成 NVIDIA 重要收入线 — rohanpaul_ai · 2026-10-16
- 开发者亲测：几万块 V100 本地部署 DeepSeek，不如直接订阅 Claude — lxfater · 2026-10-16
- 公开喊话 neocloud：我愿买 3 万美元 GPU 算力，给个折扣吗 — Sauers_ · 2026-10-16
- 拿到新硬件就开跑：垃圾佬第一时间本地部署模型 — lxfater · 2026-10-16
- Together AI 提出 Score Centering:量化推理下 RL 训练不再崩 — nrehiew_ · 2026-10-16
- AI 推理正走向异构分解:Prefill 与 Decode 分用专用芯片 — AccBalanced · 2026-10-16