实测 RTX 4000 Blackwell 运行 Qwen3.8-27B：128K 上下文
mmkaywhatevers · reddit · 2026-08-29
开发者在 24GB 显存的 RTX PRO 4000 Blackwell 上成功运行了 Qwen3.8-27B 模型。通过指定 CUDA 13.3 路径解决编译问题，并启用 MTP3 投机解码和 INT8 KV Cache，实现了 128K 上下文支持。测试显示，MTP3 将解码速度从 31 tok/s 提升至约 60 tok/s，提升近 1.9 倍，且在高上下文下显存占用依然可控。
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15