Qwen 3.8 27B 量化版在 16GB 显存实现 20 万上下文
abskvrm · reddit · 2026-08-28
用户在 16GB VRAM 设备上成功运行 Qwen 3.8 27B UD-IQ3XXS 模型，实现了超过 20 万的上下文窗口。与之前使用的 UD-Q3KXL 相比，虽然提示处理速度从 700-800 tk/s 下降到了 400 tk/s，但质量尚未经详细测试。KV Cache 均量化为 q51。
所属事件:Qwen 3.8 27B 量化实测：低显存跑超长上下文(2 条相关)→
「Infra」频道最新
- OpenAI Jalapeño 推理芯片上 Hot Chips：9 个月流片、单芯片力压 GPU+LPU — thehiphopswami · 2026-08-28
- Intel XE3P 曝光：1.3 PFLOPS FP8、1.5TB/s 带宽，2027 年对战 Nvidia — QuixiAI · 2026-08-28
- 传闻 Anthropic 拟自研训练芯片，深入算力基建 — zephyr_z9 · 2026-08-28
- 印度砸 134 亿美元推「半导体 2.0」，力攻芯片设计与制造 — SumitGup · 2026-08-28
- Meta/Google 将探讨 AI 数据中心光互连架构与能效 — jwt0625 · 2026-08-28
- Coherent-lite 在可插拔光模块能效追平 IMDD — jwt0625 · 2026-08-28