RTX 3090 部署 Qwen3.8-27B：vLLM 胜出
Lower-Ad6101 · reddit · 2026-08-28
Reddit 用户分享了在 RTX 3090 上优化部署 Qwen3.8-27B 的详细实践。
llama.cpp 配置：
- 使用 Q4KXL 量化与 MTP/ngram 推测解码。
- 开启 CUDA Graphs 和 Flash Attention。
- 在 150K 上下文下达到 45-50 tps。
vLLM 对比：
- 切换到 vLLM Docker 部署后，性能提升至 55-65 tps，上下文扩展至 175K+。
- 缺点是无法将视觉模型 (mmproj) 卸载至 CPU（带视觉时上下文受限）。
量化方案讨论：
用户询问 vLLM 中的 W4A16-AutoRound 编码相比 Q4KXL 在 C/C++ 和 Python 编程任务上的质量差异，推测其介于 Q4KM 和 Q4KL 之间。
「编程与Agent」频道最新
- 马斯克转发用户实测：Grok Bot 不比 Codex 强但更顺手 — elonmusk · 2026-10-15
- 独立开发者发布 Blob0：把 S3/R2 对象存储管成 Mac 本地文件夹 — yihui_indie · 2026-10-15
- 2026 AI 工程师六层技能栈：从向量库到 Agent 编排 — mdancho84 · 2026-10-15
- 用 ChatGPT 搭机械工程工作流：Agent 编排热固封头研究，却因重置中断 — burhop · 2026-10-15
- 开源 Harness 工程课爆火：19k 星教你让编码 Agent 干活可靠 — thisguyknowsai · 2026-10-15
- 6 人团队 3 个月：AI Agent 进驻医保预授权平台的落地实录 — alex_verem · 2026-10-15