8卡5090集群跑训练：约11美元/十亿token，GPU稳定性堪忧
jon_durbin · x · 2026-09-11
开发者 jondurbin 分享用 8 张 RTX 5090 做分布式训练的实测数据：训练成本约 $11/b tokens，MFU 表现出色，并搭建了运行监控 dashboard。
他也解释了选 5090 的原因：在长时间高负载下，5090 是「地球上稳定性最差的 GPU」，他实测故障率约 50%——8 张卡里至少 1 张会随机掉出总线或产生 NaN。此次训练同时也是稳定性压测，部分算力借用了 @liumio 的节点。
所属事件:jon_durbin 去中心化训练跑出约 11 美元/十亿 token 并开源 1T 数据集(5 条相关)→
「Infra」频道最新
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- Gary Marcus:补上 Q3 数据后，Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- SpaceX 锁定 400 亿美元 GPU 融资，号称史上最大规模 — TechCrunch AI · 2026-10-27
- 推理社区与 K8s 社区高度重合：万亿市场的 Kubernetes 翻版 — matt_slotnick · 2026-10-27
- vLLM 考虑将更多栈迁往 Rust，推理引擎 Rust 化成趋势 — AccBalanced · 2026-10-27