16GB 显卡跑 Qwen 27B 还带视觉:85K 上下文、45 t/s 配置公开
FerLuisxd · reddit · 2026-09-10
作者分享了在 5060 Ti(16GB)上完整运行 Qwen 3.8 27B 视觉模型的量化配置,解码速度约 45 t/s、prefill 约 300 t/s,并留有约 1.5GB 余量可继续扩上下文。
关键配置要点:
- 模型:ISTA-DASLab 的 IQ3XXS-mtp GGUF 量化,搭配 BF16 mmproj 实现视觉
- 使用 beellama.cpp 推理,上下文开到 85K,gpu-layers 全放 GPU、direct-io 打开
- KV cache 用 kvarn4 压缩(k/v 均开),作者附基准链接说明其质量损失可接受
- 开启 draft-mtp 投机解码(spec-draft-n-max=2)提升解码速度
- 可选优化:把 mmproj 挪到 CPU 再挤显存
完整配置已贴出,作者征集其他 16GB 显存的甜点配置。
「Infra」频道最新
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26
- Meta 拟发售至多 950 亿美元股票为 AI 基建输血 — The Decoder · 2026-10-26