单卡 96GB 跑通 Qwen3.8 17 万上下文实测
UltrMgns · reddit · 2026-08-30
用户分享了在单张 96GB 显卡上运行 Qwen3.8-Flash-Next 模型的实战经验，实现了约 17 万上下文长度和每秒 110 token 的速度。
关键配置与优化：
- 使用 INT4 量化版本（约 32GB），通过内存映射从磁盘加载。
- 利用 vLLM 部署，开启 Speculative Decoding (MTP)、Prefix Caching 和 Chunked Prefill。
- 修正了 safetensors 索引文件以排除不必要的 ple-bf16 权重，节省空间。
- 配置 --max-model-len 173400，在单张 Pro 6000 显卡上占用约 89GB 显存。
效果：
- 模型在无 GUI 的 Ubuntu 环境下成功编写并“自玩”复杂的 HTML 游戏，且表现持续改进。
- 代码和 JSON 生成场景下 MTP 接受率约 87%，长任务 Prefix Caching 命中率超 90%。
所属事件:单卡96GB实测Qwen3.8 跑通17万上下文(2 条相关)→
「Infra」频道最新
- Google Cloud Monitoring MCP 连接器发布 — modelcontextprotocol · 2026-09-01
- Distributed.systems发布可审计的Agent基础设施 — arthurcolle · 2026-09-01
- ChatGPT 启用记忆和历史会话是否增加 Token 消耗？ — ssunki · 2026-09-01
- 工程师深挖 ROCm，修复 MI350X 推理崩溃并发现 9 个 Bug — AnushElangovan · 2026-09-01
- 40nm 神经动力学芯片：利用电导漂移实现单次迭代 2.12ms 延迟 — maier_ak · 2026-09-01
- Qwen3.8 Flash 在双 DGX 上跑出 415 tok/s — NVIDIAAI · 2026-09-01