双路 Xeon+768GB 内存老工作站跑本地 LLM 还有没有用武之地
libbyt91 · reddit · 2026-10-26
一位 Reddit 用户想利用手头 2018 年左右的老 HP Z8 工作站跑本地 LLM:配置为双路 Xeon Gold 6248R、768GB 2933MHz DDR4 内存、RTX 3090 显卡和大容量存储。困惑点在于虽然内存巨大,但 GPU 只有一张 3090,感觉「除了当船锚没用」,询问社区还有没有实际用途。这类双路服务器级 CPU + 大内存 + 单张 24GB 显卡的组合,常见讨论方向包括仅靠 CPU/内存跑大参数量化模型、或作为推理与实验的辅助节点。
「Infra」频道最新
- Sam Altman：机器人造机器人、数据中心造数据中心，AI 的另类飞轮 — haider1 · 2026-10-26
- 中学生为自研推理引擎手写 Metal RMSNorm 内核，运行 DeepSeek 蒸馏模型 — dosco · 2026-10-26
- LLM 计费默认归零的隐形坑：一次模型名不匹配让成本全记成 0 美元 — Atm1n9 · 2026-10-26
- 开发者感慨：早知道把买软件许可的钱全拿去买算力 — cephaloform · 2026-10-26
- 马斯克:200 多家 neocloud 将迎来小鱼级死亡与整合 — Yuchenj_UW · 2026-10-26
- Tailscale 工程副总裁回应 SSH 漏洞疑虑：暂无需全员禁用 — basedjensen · 2026-10-26