为无网村庄置办本地 LLM:5 千美元预算选卡求建议
Potential_Low_1183 · reddit · 2026-09-07
一位用户的祖父生活在亚洲无互联网的偏远村庄,接触 ChatGPT 后着迷,希望村里也有一台能本地跑 LLM 的电脑做基础问答(村里打电话可行,村里人也可能来用)。预算约 5000 美元。
楼主自己用两块 RTX 6000 Pro Blackwell 跑 DeepSeek V4 Flash,考虑的方案是 AMD AI Pro 9700(可能双卡)搭配 31B 量化版 Gemma,目标不是前沿编码而是稳定的知识问答,征求 GPU 选型建议。
「Infra」频道最新
- 928 星 Wiki：无 NVLink 在 PCIe RTX 6000 上跑 397B 大模型 — TheZachMueller · 2026-09-07
- 预测：算力正从机架级迈向数据中心级，瓶颈转向周边一切 — AccBalanced · 2026-09-07
- AI 圈新梗:刷牙关水龙头,「为数据中心省水」 — EigenGender · 2026-09-07
- AMD MI355X 在 AgentX 上每美元 token 数击败 B300 — AccBalanced · 2026-09-07
- RandKV 开源:把 Random Attention KV 缓存驱逐策略做成 pip 一键可用 — atease01 · 2026-09-07
- 开发者自制 llama.cpp 分支，让 MoE 模型支持专家数量扩展 — Specific-Tax-6700 · 2026-09-07