四台 M5 Ultra Mac Studio 想撑 100 人用 Agent,可行吗?
Interesting-Print366 · reddit · 2026-09-02
发帖团队计划用四台 M5 Ultra Mac Studio 做纯推理服务器,让约 100 名用户通过 Openclaw 使用,不考虑其他负载。候选模型为 Qwen3.5 27B 或 Qwen Next Flash 级别,询问现实可承载的规模。实际场景约 30-40 人常驻,偶发 80-90 人同时请求,社区讨论聚焦于并发下的吞吐与模型选型权衡。
所属事件:团队探讨四台 M5 Ultra Mac Studio 能否支撑百人推理服务(2 条相关)→
「Infra」频道最新
- Merge 推出团队 AI 治理工具：模型路由+设备端策略管控 — shensi · 2026-09-02
- 英国拟建 AI 数据中心遭反弹,苏格兰两党支持暂停令 — nordicinst · 2026-09-02
- Dell 开盘大涨 10%，AI 服务器需求持续推升股价 — Polymarket · 2026-09-02
- 双 GPU 本地跑 DeepSeek V4 Flash 达 1400 tokens/秒修复 iOS bug — HankYeomans · 2026-09-02
- 从 eval 到 SFT 再到 vLLM 调优，一手复盘为大客户省推理成本 — dhruv2038 · 2026-09-02
- Nvidia 每吉瓦收入从 180 亿涨至 400 亿美元,赌注是成为 AI 架构本身 — coinfanking · 2026-09-02