双 5090 跑通 Qwen 100 万上下文，实测数据披露
Littlepharaoh · reddit · 2026-08-30
作者 fork 了 NInfer 引擎并实现了双 GPU 张量并行和 YaRN 扩展，成功在两张 5090 上运行 Qwen2.5-72B (原文可能有误，按内容推断为 27B) 的 100 万 token 上下文。
关键数据（500W/GPU 功耗限制）：
- 解码速度：在 65.3k 上下文时，开启 MTP 推测解码达 119 tok/s，关闭则 57 tok/s（同配置 vLLM 仅 42 tok/s）。
- 长文本表现：vLLM 在超过原生 262k 窗口后 MTP 接受率降为 0，而 NInfer 在 100 万 tokens 时仍保持 55-60% 接受率。
- Prefill：vLLM 预填充速度是 NInfer 的 1.2-1.3 倍，100 万 tokens 填充需约 18 分钟。
- 显存：vLLM 的 fp8 KV cache 仅支持约 75.9k tokens，NInfer 的 INT8 KV 完整容纳 100 万 tokens。
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15