100 美元二手 GPU 搭出 27B 模型推理机，7.39 t/s 跑通
Whole_Alternative_18 · reddit · 2026-08-17
一位 Reddit 用户用约 100 美元购入的两块二手 RX 580 8GB（合计 16GB 显存），搭配旧款 DDR3 工作站主板平台，以 Q3KM 量化跑 Qwen 27B，生成速度约 7.4 t/s（处理速度约 14 t/s）。
作者坦言这套方案体验不佳：速度慢、长上下文输入很痛苦，也不适合 MTP 类模型；但胜在极便宜，甚至比用系统内存跑还省，适合预算极其有限但愿意妥协的人。
「Infra」频道最新
- FT 称 AI 算力债券面临「达尔文时刻」，CoreWeave 债价暴跌 — firstadopter · 2026-10-16
- 手机当界面、家里服务器跑模型:一套本地 AI 双工作流 — EAccelerate_42 · 2026-10-16
- 「数据中心就是银行」:CoreWeave 风波引出算力监管类比 — arthurcolle · 2026-10-16
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16