RTX 5090单卡跑Qwen3.8-27B NVFP4：vLLM+256K上下文，147 tok/s
AIFlow_ML · x · 2026-08-16
MiaAI-Lab发布脚本，在单张RTX 5090（32GB）上通过vLLM 0.27.x运行Qwen3.8-27B NVFP4模型，支持原生256K上下文、TurboQuant 4-bit KV缓存（5.5 GiB）和MTP-3投机解码，并暴露OpenAI兼容API。实测单流生成约160 tok/s（MTP-3），完整262,144 token上下文驻留，内置补丁修复了stock 0.27.1的乱码问题（0/15失败 vs 13/15）。
「编程与Agent」频道最新
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16
- Jev 教程：用 180ms 分类模型替代「PASS/FAIL」字符串匹配做工作流判断 — max_paperclips · 2026-10-16
- 别给 Agent 裸 API Key：预付余额加凭证级限额才是正解 — Cold_Hall_5384 · 2026-10-16
- 六个月预测:通用 agent 框架岗位需求将降温 — yi111 · 2026-10-16
- Omarchy 装不上 NVIDIA 机器？他直接让 Claude 修好了 ISO — indragie · 2026-10-16
- 开发者用 Grok 清理 3D 打印机固件:能用,但逐行审查后揪出胡写代码 — yacineMTB · 2026-10-16