IT 工程师分享 256GB 显存「移动数据中心」半年运行实测
SweetHomeAbalama0 · reddit · 2026-08-03
一位 IT 基础设施工程师详细分享了其打造的 256GB 显存 AI 服务器（8×3090 + 2×5090）的 6-8 个月真实运行体验。
硬件与设计目标
- 配置为 AMD Threadripper 64 核、512GB 内存，采用 1300W+1600W 双电源供电。
- 旨在摆脱 API 限制，实现同时运行前沿 MoE 大模型推理与 ComfyUI 图像生成，满足企业内部数据分析、多语言文本处理与设计需求。
实测表现
- 借助机箱风道改造与混合散热，待机最高温度在 40 多度，持续推理负载下最高约 60 多度，散热表现稳定。
- 作者指出，该方案非常适合需要频繁跑大模型且不想受制于 API 额度的极客或创意/技术专业人士，但不建议普通用户或用于模型训练。
「Infra」频道最新
- 巨头 Q2 财报揭示 AI 算力账本：需求强劲，云利润持续扩张 — RihardJarc · 2026-08-04
- AI 军备竞赛反噬：科技巨头自由现金流将跌至负 1000 亿 — peterwildeford · 2026-08-04
- 单节点 B300 跑 2.8T 模型，K3 解码吞吐量达 947 tokens/s — casper_hansen_ · 2026-08-03
- Teknium：DeepSeek V4 Flash本地推理可达70 tokens/s — Teknium · 2026-08-03
- AI圈热议：开源模型已足够好，真正的壁垒是OpenAI的吉瓦级算力 — yacineMTB · 2026-08-03
- Fluidstack 大规模招聘数据中心工程人才，发力 GW 级 AI 算力设施 — MxMnr · 2026-08-03