llama.cpp 在 32GB 显存上运行 Qwen3 27B 的完整配置
ggerganov · x · 2026-08-15
ggerganov 分享了在 32GB VRAM（如 RTX 5090）上使用 llama.cpp 运行 Qwen3 27B 模型的配置，包括使用 Q4KM 和 Q40 量化、MTP 推测解码、196K 上下文、Q80 KV 缓存以及 --reasoning-preserve --fit off --agent 选项。
所属事件:社区分享Qwen3.8-27B在32GB显存上的部署配置(4 条相关)→
「编程与Agent」频道最新
- Meta 开源 Muse Spark Open:SGLang 一天支持,NVFP4 内核提速近 4 倍 — BanghuaZ · 2026-10-16
- Prompt 里写 load-bearing 可让 Opus 5.5 全力输出不藏拙 — zacharynado · 2026-10-16
- You.com 携手 Paperclip，给企业所有 agent 接上实时网络 — PolarBearby · 2026-10-16
- 逐条核算 Grok Bot 账单：五天烧穿 $20 到 $200，长任务占 52% — jonathanmalkin · 2026-10-16
- 开发者：GitHub 被严重低估了——它是免费的分布式数据存储 — blelbach · 2026-10-16
- Claude Desktop 不支持 MCP sampling,作者演示绕过限制的双向方案 — wuj · 2026-10-16