双路Xeon能否跑大模型
dbinnunE3 · reddit · 2026-07-18
作者手头已有一台 **Nimo Strix Halo** 机器，主要用来跑较小的本地模型与内部脚本；现在想评估一台 **Dell T7920 双路 Xeon** 服务器能否作为大模型推理机使用。 他关心的核心问题是：这台机器有 **1.5TB DDR4**、双 CPU 和两个可加 GPU 的 PCIe 插槽，是否可以通过 **层切分/权重加载** 来跑更大的开源模型，以及在加一两张 GPU 后，能否获得一个“够用但有趣”的大模型工作站。作者也提到自己已经在用 **llama-swap、llama.cpp、OpenWebUI、MCP/skills** 等工具栈，但对这类双路服务器的 **PP/TG 性能和部署方式** 还不熟，正在求经验和指南。