16GB 显存跑 Qwen3.8 27B:DFlash2 草稿模型实测 60 tok/s
pneuny · reddit · 2026-09-12
- 作者用 DFlash2 草稿模型(HermiHg/Qwen3.8-27B-DFlash2-Q2KS-MIX-GGUF)搭配 IQ3XXS 主模型、131k 上下文,在 16GB RX 9070 XT 上达到平均约 60 tokens/s 的生成速度。
- 比内置 MTP 投机解码更省显存——内置 MTP 会成倍增加 VRAM 需求;单线程模式下这是 16GB 显卡上的最优选择之一。
- 注意事项:投机解码对显存溢出更敏感,一旦超出实际显存,关闭投机解码反而更快(DDR5 PCIe 5 平台实测)。
- HuggingFace 讨论区有其他人在不同显卡上的更详细测试。
「Infra」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 闭门夜话:AI 时代数据库与队列等经典基建更重要而非更次要 — graceisford · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31
- 客户要 P 核:Intel 把 18A 产能转往 Intel 3 扩产 Granite Rapids — zephyr_z9 · 2026-10-31
- Modal 推出 Sticky Sessions:无服务器容器也能保住会话状态 — graceisford · 2026-10-31