RTX 5090 单卡跑 27B 模型：附多卡与边缘部署性能参数
Fz1zz · reddit · 2026-08-13
一位开发者在入手 RTX 5090 后，分享了本地部署大模型的性能表现与硬件使用建议。
- 主力机配置：使用 5090 单卡运行 Qwen3.6-27B 模型，开启了 16 万上下文、Flash Attention 以及多 token 预测（MTP）等加速参数。作者认为增加 4070 Ti Super 组建双卡不仅难以提升速度，反而可能造成拖累，倾向于出售旧卡。
- 边缘设备表现：在搭载 AMD Ryzen 7 8845HS 处理器的 NucBox K8 Plus 迷你主机上，利用核显与统一内存分配技术运行 Gemma-4-26B 模型，实现了约 343 t/s 的预填充速度和 31.4 t/s 的解码速度。
「Infra」频道最新
- Polymarket押注英伟达年底市值登顶，概率高达73% — Polymarket · 2026-08-14
- 驳斥AI数据中心七大流言：耗水、推高电价纯属无稽之谈 — Dan_Jeffries1 · 2026-08-14
- 芝加哥市长签署行政令：暂停新建数据中心 — pstAsiatech · 2026-08-14
- Cloudflare CEO：网络非人类流量已超人类，五年内将达千倍 — Beth_Kindig · 2026-08-14
- 英伟达高管暗示计算范式巨变：稀疏性与物理基底共进化 — NaveenGRao · 2026-08-14
- 稀疏化不仅省算力还涨点：Un-0模型消除98%连接并提升性能 — NaveenGRao · 2026-08-14