5 张矿卡拼出"怪兽":不到 $800 跑 Qwen3-Coder-Next 达 40 tok/s
Ok-Breadfruit-3523 · reddit · 2026-09-28
Reddit 用户用 5 张退役的 BC-250 矿卡主板组成本地推理机("Monstrosity"),总成本不到 800 美元:
- 硬件:ASRock 12 位机箱,一块主板作主机,其余无头运行,共暴露约 71GB 显存
- 性能:Qwen3-Coder-Next Q4 量化,30k 上下文约 40 tok/s,100k 上下文降至约 30 tok/s
- 组网:全部通过主板自带的 1Gb 以太网通信
- 功耗极其低效,但胜在便宜;作者还有 2 块板子,计划测试跑 3.8 flash next 是否可用
展示了一条超低成本拼装本地大模型推理集群的路径。
「Infra」频道最新
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16