单卡 RTX 5090 实测：27B 模型 616 tok/s 跑通 262K 上下文
EAccelerate_42 · x · 2026-08-26
- 核心配置：单张 RTX 5090 (32GB, Blackwell 架构) 运行 Qwen2.5-27B 模型。
- 极致性能：使用 NVFP4 权重、KV Cache 和 DFlash2 (K=7) 推测解码技术，在 262K 上下文长度下实现 616 tok/s 的聚合吞吐量（4 路并发）。
- 技术细节：项目提供了 vLLM v0.27.1 的补丁、Dockerfile 和完整的构建脚本，支持 Tool calling 和可选的 CPU 视觉侧载。
- 可用性：作者提供了两条命令即可部署的流程，并附上了详细的基准测试证据。
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15