4 张 3090 跑 Qwen 3.8:KV Cache 卸载到内存,8 路并发 200k 上下文

Mr_Moonsilver · reddit · 2026-11-23

Reddit 用户 MrMoonsilver 发布实验性 vLLM overlay(crazydiamond-on-ampere),在 4x3090 + 256GB DDR4 上运行 Intel/Qwen3.8-Flash-Next-W4A16-AutoRound。核心思路:权重全放 GPU,把 KV Cache 卸载到系统内存,用 2TPx2PP + NVLink 实现 8 路并发流(每路 200k 上下文),总计 480 tk/s、prefill 约 6.2k。因视觉编码器放不下,额外挂了第五张 3090。当前版本未启用 MTP,作者计划后续加入以继续提速,欢迎社区一起改进。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →