单卡 96GB 跑通 Qwen3.8 17 万上下文实测
UltrMgns · reddit · 2026-08-30
用户分享了在单张 96GB 显卡上运行 Qwen3.8-Flash-Next 模型的实战经验，实现了约 17 万上下文长度和每秒 110 token 的速度。
关键配置与优化：
- 使用 INT4 量化版本（约 32GB），通过内存映射从磁盘加载。
- 利用 vLLM 部署，开启 Speculative Decoding (MTP)、Prefix Caching 和 Chunked Prefill。
- 修正了 safetensors 索引文件以排除不必要的 ple-bf16 权重，节省空间。
- 配置 --max-model-len 173400，在单张 Pro 6000 显卡上占用约 89GB 显存。
效果：
- 模型在无 GUI 的 Ubuntu 环境下成功编写并“自玩”复杂的 HTML 游戏，且表现持续改进。
- 代码和 JSON 生成场景下 MTP 接受率约 87%，长任务 Prefix Caching 命中率超 90%。
所属事件:单卡96GB实测Qwen3.8 跑通17万上下文(2 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16