300 欧二手内存换 80GB:为跑 MoE 值不值？
quadra-lab · reddit · 2026-10-14
作者现有 4×8GB DDR4 3200 CL16，日常在 7900XT（20GB 显存，40 tps with MTP）上跑 IQ4 量化的 Qwen 27B 密集模型。为运行更高精度（Q8）的 MoE 模型（如 Qwen Flash Next）以充分利用 CPU+GPU，他看中 300 欧的二手 2×32GB 内存，升级后共 80GB。帖子征求：MoE 是否真比低量化密集模型更好、从游戏 PC 转型 AI 服务器的实际配置经验等。
「Infra」频道最新
- Qdrant 实测 Perplexity 晚交互嵌入:向量缩小 21 倍,质量保留 99.9% — qdrant_engine · 2026-10-14
- OpenBSD 上 Tokio 并发 UDP 发送可能永久卡死,复现与规避方法公开 — jedisct1 · 2026-10-14
- Anthropic 算力承诺或达 2027 年 560 亿美元,观察者称还远不止 — zephyr_z9 · 2026-10-14
- 1.7B 手机本地模型实现无 API 联网搜索，全程端侧完成 — K4anan · 2026-10-14
- Qwen3 8B 疑似 27B 版本在 Nebius 跑出约 300 tokens/秒 — Arindam_1729 · 2026-10-14
- ggerganov 为 llama.cpp 新增 spec-draft 选项优化显存占用 — jacek2023 · 2026-10-14