两块 115 美元矿卡 APU 跑 Qwen 35B:60 tok/s 只要 300 美元
Ok-Breadfruit-3523 · reddit · 2026-09-24
作者分享了低成本本地 AI 部署方案:两块从矿业市场淘来的 BC-250 APU(每块 115 美元),共约 27GB 显存,用 llama.cpp 的 Vulkan + RPC 通过 1Gb 以太网互联,在 Bazzite 系统上以 Q4KM 量化跑 Qwen3.6-35B-A3B,速度达 60 tok/s、64K 上下文。
整套含电源约 300 美元。他还打算再加四块凑六卡,尝试跑 Qwen 3.8 Flash。对预算有限的本地部署玩家是一个可复制的参考方案。
「Infra」频道最新
- 斑马发布 AutoOmni 2.0:激活 3B 端侧模型逼近十倍参数云模型 — 机器之心 · 2026-09-24
- 黄仁勋与马斯克:中国 2030 年前自研先进光刻,芯片封锁只买 2-3 年 — beffjezos · 2026-09-24
- MacBook Pro 经雷电5外接 AMD R9700 跑 LLM,驱动已开源 — TheOriginalG2 · 2026-09-24
- 零美国公司数据链路搭实时语音 agent:Gladia STT + Gemma 4 + KugelAudio TTS — tobowers · 2026-09-24
- M4 16GB 上跑通 MiniCPM5-2B 本地助手:裁剪、适配与实测全记录 — 面壁智能 · 2026-09-24
- WSJ:AI 基建热潮正成为美国史上最大规模经济押注 — GeneReddit123 · 2026-09-24