4 张 3090 跑 Qwen 3.8:KV Cache 卸载到内存,8 路并发 200k 上下文
Mr_Moonsilver · reddit · 2026-11-23
Reddit 用户 MrMoonsilver 发布实验性 vLLM overlay(crazydiamond-on-ampere),在 4x3090 + 256GB DDR4 上运行 Intel/Qwen3.8-Flash-Next-W4A16-AutoRound。核心思路:权重全放 GPU,把 KV Cache 卸载到系统内存,用 2TPx2PP + NVLink 实现 8 路并发流(每路 200k 上下文),总计 480 tk/s、prefill 约 6.2k。因视觉编码器放不下,额外挂了第五张 3090。当前版本未启用 MTP,作者计划后续加入以继续提速,欢迎社区一起改进。
「编程与Agent」频道最新
- 用 LLM 探索符号执行与 Z3:逆向工程的新玩法设想 — mgostIH · 2026-11-23
- Chat with Work 明日发布:跨工具协作 bots,主打欧盟可用与自托管 — kieranklaassen · 2026-11-23
- 「修好它日」工作流:用 Opus 5.5 逐个清掉生活里的坏毛病 — alliekmiller · 2026-11-23
- Replit 多智能体提速 NumPy:32 个 Claude 达 18.9 倍 — amasad · 2026-11-23
- 衡量 10x 工程师的标准:工作成果被多少人复用 — vboykis · 2026-11-23
- 微软将 Azure AI Search 升级为 Foundry IQ,做 Agent 知识层 — adnan_hashmi · 2026-11-23