Reddit网友晒4卡Tesla T4本地LLM主机：768GB ECC内存跑llama.cpp
Creative-Type9411 · reddit · 2026-10-01
一位 Reddit 用户晒出攒好的第4张 Tesla T4（共64GB显存）本地推理主机。配置包括 Fractal Design Torrent 机箱、SuperMicro X11SPA-T 主板、Xeon W3225、768GB DDR4 ECC 内存、4x16GB T4 以及 4TB SSD RAID，系统为 Ubuntu 26.04，跑 llama.cpp 与 OpenWebUI 加自定义 harness。作者表示尽管 CPU 不算新，速度相比旧机多核 CPU 已足够好，暂不升级，并直言「还想要更多卡」。
「Infra」频道最新
- 基于 Cornell 教程为团队自制 GPU 架构入门课程 — idanbeck · 2026-10-01
- Qwen Flash Next MTP 工作重启,官方 GGUF 量化与 llama.cpp PR 上线 — jacek2023 · 2026-10-01
- Strata 采样参数冷知识:run 配置里可加 sampling 块设默认值 — KissMyShinyArse · 2026-10-01
- Meta 首个 Loop MoE Scaling Law：稀疏省 3 倍、循环省 2 倍算力 — facebook · 2026-10-01
- 87GB 大模型 Qwen3.8 Flash Next 单卡 RTX 5090 跑到 150 t/s — CurieuxExplorer · 2026-10-01
- GPU 基础设施采购指南:「通过测试」到底测了什么? — AccBalanced · 2026-10-01