12GB 显存跑 Qwen 3.8 27B 全上下文：两套 llama.cpp 配置分享
PyaesoneP · reddit · 2026-08-19
作者设备：RTX 5070 Ti Mobile（12GB）+ Ultra 9 275HX + 32GB DDR5，用 llama.cpp + CUDA 跑 Unsloth Qwen 3.8 27B UD Q4KXL，接受慢速换取能力，给出两套配置：
- agentic 编码（OpenCode）：-ctx 262144、FFN 权重卸载到 CPU、flash attention、KV cache q80、MTP 投机解码；180K 上下文时约 1.5 t/s。这是他第一个敢让它碰真实项目的本地模型（仍限个人项目）。
- 个人助理（Hermes Agent）：98K 上下文，约 9–11.5 t/s。相比之前的 MoE 模型（50–60 t/s 但经常无视 SOUL.md/MEMORY.md/USER.md 指令），Qwen 3.8 27B 指令跟随显著更稳，比吞吐更有价值。
社区分享的张量卸载技巧帮助很大；完整命令行参数见原帖。
「编程与Agent」频道最新
- 设计反馈工具 Inflight 发布:让 Claude 直接消化原型反馈 — soleio · 2026-10-16
- Apple 代码签名耗时数小时,官方建议:等一周 — pjausovec · 2026-10-16
- 4B 模型加 8K 上下文堆算力反而更差，Hermes 提出上下文推理新思路 — mangahomanga · 2026-10-16
- Flux 3 Klein 默认模板有坑:必须接 prompt upscaler 才能出好图 — StrictMove5839 · 2026-10-16
- 21 人团队 AI 写 97% 代码,每周数百 PR,16% 自动合并 — rseroter · 2026-10-16
- ClosedMCP:一次配置 MCP,跨平台团队共享的 Serverless 方案 — Ok_Sprinkles1301 · 2026-10-16