单张 RTX 5090 跑 Qwen3 27B 实测 85.6 tok/s,MTP 加速见效
comperr · reddit · 2026-09-26
Reddit 用户分享本地部署实测:用 MTP(多 token 预测)在单张 RTX 5090 上运行 Qwen3.8:27B,达到 85.6 tok/s 的解码速度。这对想在家用消费级显卡跑 27B 级模型的用户是有参考价值的性能数据。
「Infra」频道最新
- MLX-Serve 26.9.6 发布：M5 Ultra 优化，Qwen3.8 解码达 300+ tok/s — TheMoonMidas · 2026-09-26
- AxonDAO 推出 AxonOS：浏览器里的 GPU 原生科研桌面 — melnykowycz · 2026-09-26
- ClusterMAX 3.0 提高门槛：仅 19 家 Neocloud 获奖牌评级，15 家垫底 — FinanceYF5 · 2026-09-26
- ClusterMAX 3.0 发布：实测 77 家 Neocloud，覆盖 323 家 — FinanceYF5 · 2026-09-26
- Niantic 开放 100 个真实场景 3D 资产，供具身 AI 训练仿真用 — Scobleizer · 2026-09-26
- umbrelOS 2.0 发布：一根 U 盘把闲置电脑变私有云 — JosephJacks_ · 2026-09-26