Qwen 3.8 27B 量化版在 16GB 显存实现 20 万上下文
abskvrm · reddit · 2026-08-28
用户在 16GB VRAM 设备上成功运行 Qwen 3.8 27B UD-IQ3XXS 模型，实现了超过 20 万的上下文窗口。与之前使用的 UD-Q3KXL 相比，虽然提示处理速度从 700-800 tk/s 下降到了 400 tk/s，但质量尚未经详细测试。KV Cache 均量化为 q51。
所属事件:Qwen 3.8 27B 量化实测：16GB 显存可跑 20 万上下文(4 条相关)→
「Infra」频道最新
- ASML CFO 称美国限制对华 DUV 销售将适得其反 — pstAsiatech · 2026-10-15
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15