5 张矿卡拼出"怪兽":不到 $800 跑 Qwen3-Coder-Next 达 40 tok/s
Ok-Breadfruit-3523 · reddit · 2026-09-28
Reddit 用户用 5 张退役的 BC-250 矿卡主板组成本地推理机("Monstrosity"),总成本不到 800 美元:
- 硬件:ASRock 12 位机箱,一块主板作主机,其余无头运行,共暴露约 71GB 显存
- 性能:Qwen3-Coder-Next Q4 量化,30k 上下文约 40 tok/s,100k 上下文降至约 30 tok/s
- 组网:全部通过主板自带的 1Gb 以太网通信
- 功耗极其低效,但胜在便宜;作者还有 2 块板子,计划测试跑 3.8 flash next 是否可用
展示了一条超低成本拼装本地大模型推理集群的路径。
「Infra」频道最新
- 开发者转向本地 AI:不为隐私,为的是对代码与数据的掌控权 — Aiden_Tech_Ai · 2026-09-28
- Meta 开源推荐系统分析工具,按子模块剖析 TB 级模型性能 — _reachsumit · 2026-09-28
- 开源 apple-llm：一行代码调用 Mac 内置本地 LLM，附踩坑指南 — light_2earth · 2026-09-28
- 8 张水冷 GPU 实战派:本地推理训练强烈建议给 GPU 上水冷 — HanchungLee · 2026-09-28
- vLLM transformers 后端已达原生速度,接入即免移植 — ariG23498 · 2026-09-28
- 创业者算账：租 5 年自建集群算力要花超 10 亿美元 — ericzelikman · 2026-09-28