130+ 组测试:三张 V100 拼出千美元本地机,Qwen 35B 跑 72 tok/s 胜 Mac Studio
eso_logic · reddit · 2026-11-17
作者用退役企业级 GPU(V100/P100/K80)加 X99 平台做了 130+ 组 LLM 基准测试,结论:
- 3×V100-16GB 是甜点配置:整机(双 Xeon、主板、电源、散热)约 $1,042(不含内存)。Qwen 3.6 35B(Q8、128k 上下文)跑到约 72 tok/s;Gemma 4 26B 约 75 tok/s。对比 $2,500 的 Mac Studio M5 同模型只有约 44 tok/s。
- 堆卡扩的是显存不是速度:多卡线性增加 VRAM(两张 16GB Q4 可塞下约 32B 模型),但不会成倍提升生成速度。
- 能效:V100 的每瓦性能明显优于 P100。
- K80 只剩堆叠玩法:要跑 72B+ 模型需堆大量 K80,速度仅 1–5 tok/s,属证明显存扩展可行的「派对把戏」。
- 最大工程挑战是无风扇散热,作者正在开发定制主动风冷,征集压力测试志愿者。完整图表与功耗分析在博客。
「Infra」频道最新
- Cloudflare 回滚更新,AI 浏览器 Helium 的 Turnstile 验证将恢复正常 — uwukko · 2026-11-17
- Anthropic IPO 文件曝光:至 2045 年超 9000 亿美元采购与租赁承诺 — Polymarket · 2026-11-17
- 高通演示端侧小模型分流:每请求 8.6ms 决定本地还是上云 — carrycooldude · 2026-11-17
- 电力成 AI 周期核心瓶颈,电网供需缺口正自成市场 — ditzikow · 2026-11-17
- 汇丰折价甩卖 3 亿美元 AI 数据中心贷款,实为止损约 15% — GaryMarcus · 2026-11-17
- 日本富岳超算疑遭入侵,逾 4000 用户信息或已泄露 — SydSteyerhart · 2026-11-17