30 路并发的 Gemma 4 E4B 本地部署：7000 美元预算怎么配硬件
Plane_Garbage · reddit · 2026-09-02
发帖人寻求本地高并发推理方案：约 30 路并发的 Gemma 4 E4B 调用，每路约 15k 输入 / 3k 输出 token，希望全部在 2 分钟内完成，预算约 7000 美元以内。候选方案包括多张 RTX 5060 Ti、Mac Studio Max、DGX Spark，甚至多张 Intel B580。
「Infra」频道最新
- Weaviate 推出磁盘向量索引 HFresh:受 SPFresh 启发,大而常变的集合省内存 — victorialslocum · 2026-09-02
- antirez 力挺 DeepSeek v4 Flash:仍是本地推理之王,现已支持视觉 — antirez · 2026-09-02
- 跑 Qwen3.8 27B Q8 求性价比硬件:Ascend 310 缺货、MI50 争议 — Snoo-2768 · 2026-09-02
- GRPO 专家 SLERP 合并：小规模自托管 LLM 扛下一半线上流量 — t-tech · 2026-09-02
- 旧金山举办 AI Infrastructure Night 聚会 — glcst · 2026-09-02
- 谷歌签下 396 兆瓦地热协议，AI 推动探索非常规能源 — VraserX · 2026-09-02