3 张退役 V100 装 $1042 主机跑 Qwen 3.6:128K 上下文快过 $5399 Mac
bittingthembits · x · 2026-11-20
一位 homelab 玩家用 3 张被当作电子垃圾的退役 Nvidia V100 组建了 $1,042 的主机,运行 Qwen 3.6 35B:4K 上下文达 100 tokens/sec,128K 上下文达 72.7 tokens/sec——比 $5,399 的 M5 Max Mac Studio 快 19%,是 $4,700 DGX Spark 的两倍以上。
作者借此推广 Bittensor ($TAO) 的愿景:把全球散落算力组成无需许可的网络,按交付而非拥有最大数据中心来分配奖励,让开源模型 + 廉价硬件不被单一公司垄断。
「Infra」频道最新
- 推理算力期货交易所 Touchmark 获 300 万美元种子轮融资 — ycombinator · 2026-11-20
- 分析仪器成中国「卡脖子」新焦点,难度堪比半导体设备 — PAstynome · 2026-11-20
- 753B 参数 GLM-5.3 在两台 NVIDIA DGX Station 上全显存本地运行 — kuchaev · 2026-11-20
- PolyAI 实时对话模型 Dialog-RSN-1 上架 SageMaker JumpStart — AWS ML Blog · 2026-11-20
- 英伟达新季度业绩亮眼,Rubin 芯片在 MLPerf 训练与推理首秀 — TheKanter · 2026-11-20
- 自研 CUDA 引擎 Halocline:单张 RTX 4090 跑 Qwen4,速度提升 1.4-2.6 倍 — Distinct-Pie2389 · 2026-11-20