RTX 5090单卡跑Qwen3.8-27B NVFP4：vLLM+256K上下文，147 tok/s
AIFlow_ML · x · 2026-08-16
MiaAI-Lab发布脚本，在单张RTX 5090（32GB）上通过vLLM 0.27.x运行Qwen3.8-27B NVFP4模型，支持原生256K上下文、TurboQuant 4-bit KV缓存（5.5 GiB）和MTP-3投机解码，并暴露OpenAI兼容API。实测单流生成约160 tok/s（MTP-3），完整262,144 token上下文驻留，内置补丁修复了stock 0.27.1的乱码问题（0/15失败 vs 13/15）。
「编程与Agent」频道最新
- Agent 会随上下文变长而“摆烂”：编辑量从150行缩到30行 — dbreunig · 2026-10-16
- ai& 成 Cline 官方内置提供商，13 个开源模型含 GLM 5.3 直连 — DavidBennett__ · 2026-10-16
- x402 成 2026 年低成本 GTM 补充策略：agent 自动发现 100+ 工具 — 0xJeff · 2026-10-16
- Sam Altman：别再苦练提示词，要让循环和图自动完成提示 — goyalshaliniuk · 2026-10-16
- Claude Opus 5.5 造出真实马特洪峰地形的霓虹滑雪游戏 — techartist_ · 2026-10-16
- SERP 数据被污染，用 Claude MCP+Notion 搭建排名监控替代方案 — VeryWellVersed · 2026-10-16