单张 RTX 5090 实现近 1.8 万 token/秒推理吞吐

Bittensor 生态的 Chutes 团队发布 Parallax 推理方案，在一张约 2000 美元的消费级 NVIDIA RTX 5090 上，基于 vLLM fork 同时处理 256 个并发请求，吞吐量接近 1.8 万 token/秒，成本约合每百万 token 1 美分。MSBIntel 对该预览版结果进行了通报，显示消费级硬件也能实现极高性价比的大模型推理服务。

2026-11-13 ~ 2026-11-13 · 2 条相关