求教:双卡 P100 跑 Qwen 27B 量化版体验如何?
kirisoraa · reddit · 2026-08-21
用户询问是否有在多张 Tesla P100(16GB HBM2)上运行 Qwen 27B 量化版(q6-q8)的经验,关注预填充/生成速度、功耗以及作为二手性价比方案用于本地推理的可行性。
「Infra」频道最新
- 讨论:AI Agent 的数据流向与私有推理的必要性 — Many_Audience7660 · 2026-08-21
- 复现 Anthropic 需 16k 提示词与 25 万美元合成成本 — Ghost_Pilot_MD · 2026-08-21
- Langship:像 Terraform 一样部署 AI Agent 的开源工具 — Many_Audience7660 · 2026-08-21
- Qwen3.8-27B 现支持 NVFP4 与 DFlash2 量化部署 — Alibaba_Qwen · 2026-08-21
- 252 美元单卡预训练迷你 Kimi,免费电子书全记录 — joecole · 2026-08-21
- 130 年算力性价比提升 10²² 倍,Kurzweil 图表引热议 — Singularitarian · 2026-08-21