16GB 显存跑 Qwen3.8 27B：262k 上下文+视觉，作者公开调参细节
Fancy-Snow7 · reddit · 2026-10-13
Reddit 用户 Fancy-Snow7 展示在单张 16GB 显卡（RTX 5070 Ti）上运行 unsloth/Qwen3.8-27B-UD-IQ4XS 量化：262k 上下文、q40 KV 缓存、带视觉，MTP 吞吐约 80t/s、1500pp，且同卡还驱动双屏。
核心做法：
- 使用 llama.cpp-adaptive-kv-streaming 分支，并自行改造加入 q40 KV 支持（也可让 LLM 帮忙改，只需改几行代码）
- KV 溢出到系统内存后经 kv-stream-arena（设 1.5GB）流式回传，共享显存上涨属正常现象
- 262k 全上下文下约 20t/s、pp 400t/s，速度随上下文线性下降；作者实际在 180-200k 处压缩上下文
- 保守方案：batch/ubatch 设 128 用 q80/q40 KV，pp 约降 100t/s，可能更划算
注意事项：注意其他吃显存的应用，Windows 显存溢出到共享显存后速度会骤降。
「Infra」频道最新
- 富士康曝光自动化战略：Omniverse 虚拟验证 + GR00T 人形机器人已投产 — firstadopter · 2026-10-13
- LiquidAI 发布 d1 系列 MLX 版本，原生适配 Apple Silicon 本地运行 — JosephJacks_ · 2026-10-13
- Apple 私有云计算新固件现 vserver 镜像，macOS 虚拟化服务器或将至 — jedisct1 · 2026-10-13
- HF 工程师提醒：多沙盒场景别乱来，本地 CPU 即可跑 — TheZachMueller · 2026-10-13
- Celesto CI 算账:1000 个任务比 GitHub Actions 便宜 9 倍 — aniketmaurya · 2026-10-13
- Keurig 咖啡机 10 天跑 1TB 流量,当事人复盘:单位故障 — gnukeith · 2026-10-13