384GB DDR4 + 单卡 32GB 显存:低成本 MoE 本地工作站的甜点配置
Numerous-Ad6217 · reddit · 2026-10-22
作者押注 MoE 将成为本地 LLM 推理的主流架构,据此搭建了一台预算型 AI 工作站:用 AMD Radeon AI PRO R9700(32GB 显存)承载激活专家,用便宜的 DDR4 ECC 内存存放非激活专家。
关键发现:
- 作者对主流开源 MoE 模型在 Q4/Q8 量化下的激活/非激活参数量与所需显存、内存做了拟合,激活与非激活权重呈近似线性关系,斜率约 0.0565——即每 1GB 激活权重对应约 18GB 非激活权重。
- 据此推断,384GB DDR4 + 32GB 显存是甜点配置:384GB 非激活权重约对应 21.7GB 激活权重,还能给 KV cache 和运行时开销留出余量;加到 512GB 内存则会让多数模型的激活工作集逼近 32GB 显卡上限。
- 结论:一台便宜的 EPYC 工作站(384GB DDR4 + 单张 32GB GPU)即可运行大量大型 MoE 模型,许多 Flash 级模型甚至能跑 Q8。
作者也提醒实际表现取决于模型架构、专家路由、缓存效率与推理后端。
「Infra」频道最新
- NVIDIA Cosmos-3-Nano 上线 Reactor：双臂世界模型实时推理 — chris_j_paxton · 2026-10-22
- Bindu Reddy 试水 Abacus.AI 超算,GPU 跑 3D 飞车游戏 — bindureddy · 2026-10-22
- 2-bit 权重放显存+残差放内存：让放不下的模型也能投机解码 — Happy_Guitar3521 · 2026-10-22
- Seroter 日报：OpenAI 模型登陆 Google Cloud 等要闻 — rseroter · 2026-10-22
- inference.net 占 OpenRouter 第三方托管 14% 份额居首，日处理约 10% 调用量 — Ronangmi · 2026-10-22
- 一条命令把 Vercel Eve agent 部署到 Cloudflare：开源工具 Eden 发布 — ritakozlov · 2026-10-22