千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16%
PuzzleheadedArm3732 · reddit · 2026-11-22
Reddit 用户用约 1400 美元购入的近十年老设备(Dell Precision 5820,64GB DDR4 + V100 PCIe 32GB,功耗墙压到 225W)实测 Qwen3.8-27B 各量化版本,全部装进显存,stock llama.cpp + llama-bench:
- Q4KM 生成速度比 Q80 快 48%;Q80 预填快 16%(32k 上下文时差距缩至 10%)。
- 32k 深度上下文整体使生成慢约 15%(配图显示生成速度随上下文深度线性下滑,Q4KM 从 35.5 降至约 29.5 tok/s)。
- 参考:Qwen3.5-35B-A3B(MoE)在此配置可达 104 tok/s,但智能程度不及 27B dense。
结论:V100 至今仍相当可用,作者征求进一步提升的方案。
「Infra」频道最新
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍 — pmttyji · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22
- 4GB 显存跑 Krea-2-Turbo:GTX 1650 Super 上 30 秒出图 — A_NASHEX · 2026-11-22
- 12.8GB 近无损量化版 Inkling-2-Mini 发布,手机也能跑 Haiku 级模型 — teortaxesTex · 2026-11-22