自建 GPU 还是买 token？关键看你能否榨够每卡 token 数
zainhas · x · 2026-10-12
一位开发者回应「为什么不用自建 GPU」的讨论，列出押注长期 GPU 租用或直接购卡的前提条件：
- 有足够资金做长期 GPU 租赁或直接买卡
- 团队具备系统工程能力
- 非常了解自己的工作负载
- 跟得上约每两周一次的模型架构变化
- 跟得上约每两年一次的硬件周期
结论：只有把以上都做好、能从每张 GPU 榨出足够多的 token 时，自建/租卡才比直接按 token 付费划算。
「Infra」频道最新
- JAX 可跑 Apple GPU：jax-graft 用 Opus 5.5 写成开源后端 — twiecki · 2026-10-12
- GamePause 开源:检测到开游戏自动卸载本地 LLM,释放 17.4GB 显存 — zainfear · 2026-10-12
- 算账:AI 数据中心每花 100 美元,60 美元是 GPU 折旧,电费仅 7 美元 — Ill_Vegetable169 · 2026-10-12
- Runpod Flash 免 Docker 直跑云端 GPU,一条命令部署生成应用 — AI Engineer · 2026-10-12
- 从磁盘流式加载权重对 LLM 不可行，但对决策模型或可热加载即用即卸 — ostrisai · 2026-10-12
- Matthew Berman:不报 tokens/s 就说机器能跑哪个模型没有意义 — MatthewBerman · 2026-10-12