跑 Qwen3.8 27B Q8 求性价比硬件:Ascend 310 缺货、MI50 争议
Snoo-2768 · reddit · 2026-09-02
Reddit 用户询问高性价比运行大模型的硬件方案:目标是让 Qwen3.8 27B 在 Q8 量化下达到至少 20 tokens/秒,价格是首要考量。
- 候选方案之一是华为昇腾(Ascend)310 系列 96GB 显存版本,但发现全网缺货严重
- 也在考虑 AMD Instinct MI50,不确定它是否还堪用
- 帖子以提问为主,评论区讨论尚未包含在内
「Infra」频道最新
- MLSecOps 框架：十环节守护生产环境机器学习系统安全 — goyalshaliniuk · 2026-09-02
- ODS 一键把电脑变私有 AI 服务器，5.8k Star — tom_doerr · 2026-09-02
- Weaviate 推出磁盘向量索引 HFresh:受 SPFresh 启发,大而常变的集合省内存 — victorialslocum · 2026-09-02
- antirez 力挺 DeepSeek v4 Flash:仍是本地推理之王,现已支持视觉 — antirez · 2026-09-02
- GRPO 专家 SLERP 合并：小规模自托管 LLM 扛下一半线上流量 — t-tech · 2026-09-02
- 旧金山举办 AI Infrastructure Night 聚会 — glcst · 2026-09-02