花 1.8 万欧自建 768GB 显存服务器，却追不上 2 万亿参数开源模型
myreala · reddit · 2026-09-04
一位 Reddit 用户花约 1.8 万欧元组装了一台 EPYC 服务器：12 张 64GB 显存卡（共 768GB VRAM）加 256GB 内存，目标是本地跑前沿开源大模型。但他发现可能「已经过时」：新一代开源前沿模型普遍走向 2 万亿参数以上。
在他看来，目前只有 GLM 5.3 还能勉强跑，而 Astra 发布后它会明显落后；下一代 GLM 6 规模可能是现在的两到三倍，Qwen-max、Kimi 以及 DeepSeek V4 Pro 都大到无法考虑。
他在纠结是否放弃「前沿梦」：卖掉多余 GPU，换用少量卡跑 flash 小模型。他原本希望借此创业，但也承认同样的业务用 flash 模型加上更多工程努力大概也能做。这是个人级算力投入在模型快速膨胀时代的一个典型两难案例。
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21