单张 RTX 5090 跑出近 18000 tokens/秒,成本约 1 美分/百万 tokens
bittingthembits · x · 2026-11-13
Bittensor 生态的 Chutes 团队发布 Parallax 推理方案:在一张约 2000 美元的消费级 RTX 5090 上,用一个 vLLM fork 同时服务 256 个请求,总吞吐接近 18000 tokens/秒,比 Llama 3.1 8B 在数据中心 H100 上的标准 vLLM(3500 tok/s)乃至 SGLang 最大批次(16215 tok/s)还快。
配图对比显示,按 GPU 租金计算,Parallax 8B 成本约 $0.012/百万 tokens(≈1 美分),低于 H100 vLLM 的 $0.074 和 SGLang 的 $0.051。注意事项:Parallax 是 4-bit 专家层的小型 MoE 模型,每 token 计算量低于稠密 8B,回答质量尚未评测;且为非正式基准,其他方案(Spheron RTX 5090、GeneralCompute 与 AIMultiple 的 H100)测试配置不同。
「Infra」频道最新
- 分析师推断多家实验室已跑通 Blackwell 训练栈，开支带 3-6 倍溢价 — teortaxesTex · 2026-11-13
- 爆料称中国主要模型均在 Blackwell 级芯片上训练,但规模令人失望 — teortaxesTex · 2026-11-13
- Sentdex：「中国间谍」指控可疑，更像是绕开出口管制的互利交易 — Sentdex · 2026-11-13
- 分析师研判 DeepSeek V4:Flash 版大获成功,V5 或走超高效小参数路线 — teortaxesTex · 2026-11-13
- vLLM 上线 Thinking Machines 新模型 Inkling-2-Small:594B MoE、1M 上下文、单卡 1100 tok/s — vllm_project · 2026-11-13
- Inkling 2 Small 推理数据：32K 上下文多轮 Agent 场景破千 TPGS — vllm_project · 2026-11-13