RTX 4090 跑通 25 万上下文：单卡优化 Qwen 3.8 实践
alexcovo_eth · x · 2026-08-23
博主通过技术优化在单张 RTX 4090 (24GB) 上成功运行 Qwen 3.8-27B 模型，实现了 250,000 的上下文窗口和 75 tokens/s 的速度。
核心优化手段：
- 自定义 2-bit Drafter：将 DFlash 2 drafter 量化至 Q2K，节省 450MB 显存，且在测试中保持了 100% 的接受率和解码速度（76 t/s）。
- 隐藏显存税：发现 llama-server 默认为多用户并发预留大量显存。单用户模式下通过传递 --parallel 1 标志，强制引擎将 100% 显存缓冲区分配给单一用户，释放了大量被占用的资源。
实测结果：
结合 Q2K drafter 和 --parallel 1 标志，上下文限制显著提升，最终在单卡上实现了惊人的 25 万上下文吞吐。
「Infra」频道最新
- DSCO Router 推出多模型统一网关，支持自带账号自动路由 — arthurcolle · 2026-08-24
- 开源方案 RobotSoul：为 Agent 提供上下文重置后的持久身份 — robauto-dot-ai · 2026-08-24
- 将 MoE 模型卸载至 RAM 运行会遭遇极慢的 Prefill — former_farmer · 2026-08-24
- Etched获10亿美元融资，Jane Street领投验证专用芯片 — TheTuringPost · 2026-08-24
- ConvRot 量化方法入驻 llama-cpp，Q6 接近 Q8 精度 — giveen · 2026-08-24
- LifeOS：基于本地模型的语音驱动个人管理工具 — Extension-Bid-639 · 2026-08-24