32GB 显存跑 Qwen3.8 27B：动态配置让上下文从 17 万扩到 26 万 token
wadeAlexC · reddit · 2026-09-12
Reddit 用户 wadeAlexC 不满 kv cache 量化损失质量，开发了开源工具 llama-manager，作为 llama.cpp 分支的包装层，支持模型加载后动态修改配置：开关投机解码、迁移 mmproj 到 CPU、动态量化 kv cache，且重配置期间保留已有 kv cache、无需重新 prompt 处理，甚至可在生成中途热更新。
工作方式：当请求因触顶上下文上限失败时，工具不暂停生成，按可配置顺序逐级应用扩容策略。以 Qwen3.8-27B-UD-Q4KXL 在 32GB GPU 上的实测为例：
- 基线：167,680 tokens（f16 kv、mtp 与 mmproj 开启）
- 第 1 步禁用投机解码：+33,280 → 200,960
- 第 2 步 mmproj 移到 CPU：+17,920 → 218,880
- 第 3 步 kv 量化到 q8：+43,264 → 262,144
核心思路是：大部分推理并不发生在上下文上限处，静态提前量化 kv cache 会白白损失质量；只在真正逼近上限时才逐级妥协，能最大化保持输出质量。项目开源于 GitHub（wadealexc/llama-manager），README 说明了所需 llama.cpp 分支的改动与新增 HTTP 端点。
「Infra」频道最新
- DeepInfra 推 DeepCluster 专属 B300 集群，低至 2.99 美元/GPU 时 — niloofar_mire · 2026-09-12
- OpenAI 揭秘存储平台 Habitat:Python 服务峰值每秒超 2000 万请求 — xeophon · 2026-09-12
- 腾讯开源 Agent 沙箱 CubeSandbox v0.7:冷启动 60ms,支持跨节点暂停恢复 — dr_cintas · 2026-09-12
- DigitalOcean 推 M.A.R.S. 托管 Agent 运行时,首发接入 OpenAI Agents API — OpenAIDevs · 2026-09-12
- 分析师估算：Instinct 类应用每年或烧掉上亿美元 token 成本 — ivan_bezdomny · 2026-09-12
- 17B 模型从 SSD 跑起:单核 33 tokens/s,无 GPU 训练 — Just_Vugg_PolyMCP · 2026-09-12