单卡 3090 跑 Qwen 27B：量化参数与上下文配置实战调优
randomjapaneselearn · reddit · 2026-08-26
一位用户分享在单张 RTX 3090 上通过 llama.cpp 运行 Qwen 3.8 27B 模型的配置与调优经验。
背景与问题：
- 从 Qwen 3.6 35B-A3B 迁移到 3.8 27B，配合 pi.dev 使用。
- 之前遇到过简单任务消耗大量上下文的问题（如打印 hello 占用 100k context）。
当前配置：
- 上下文：设置为 64k（参考 ninfer-3090 构建，尽管 llama-bench 测试显示 90k 也可行）。
- 量化：使用 UD-Q4KXL，认为相比 Q5，XL 版本已能提供足够质量。
- KV Cache：尝试 --cache-type-k q80 和 --cache-type-v q40，旨在平衡显存占用与性能（K 值 4bit 质量下降明显，V 值 4bit 相对可接受）。
观察与疑问：
- pi.dev 在触达上下文限制时表现良好，虽自动压缩有延迟，但能继续完成任务。
- 当前设置下生成速度较慢，作者在寻求是否还有更优的参数组合或是否应使用缓存量化。
「Infra」频道最新
- 思科四个月第四笔收购：投资 Teleport 强化身份安全 — shashib · 2026-08-26
- 微软 Maia 200 论文发布：软件定义数据流实现高性能推理 — thoefler · 2026-08-26
- 台湾起诉九人涉英伟达芯片走私，含批准 B300 放行的资深经理 — SimplyAnnisa · 2026-08-26
- 学术实验室获 300 万 H100 小时算力，作者称史上罕见 — j_foerst · 2026-08-26
- 美政府拟修规，数据中心污染许可无需公众意见 — rbanffy · 2026-08-26
- 曝博通贷款资助 OpenAI 芯片 NRE，降低初创门槛 — MikePFrank · 2026-08-26