千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16%

PuzzleheadedArm3732 · reddit · 2026-11-22

Reddit 用户用约 1400 美元购入的近十年老设备(Dell Precision 5820,64GB DDR4 + V100 PCIe 32GB,功耗墙压到 225W)实测 Qwen3.8-27B 各量化版本,全部装进显存,stock llama.cpp + llama-bench:

结论:V100 至今仍相当可用,作者征求进一步提升的方案。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →