8卡5090集群跑训练：约11美元/十亿token，GPU稳定性堪忧
jon_durbin · x · 2026-09-11
开发者 jondurbin 分享用 8 张 RTX 5090 做分布式训练的实测数据：训练成本约 $11/b tokens，MFU 表现出色，并搭建了运行监控 dashboard。
他也解释了选 5090 的原因：在长时间高负载下，5090 是「地球上稳定性最差的 GPU」，他实测故障率约 50%——8 张卡里至少 1 张会随机掉出总线或产生 NaN。此次训练同时也是稳定性压测，部分算力借用了 @liumio 的节点。
所属事件:开发者实测去中心化训练：约 11 美元跑十亿 token(4 条相关)→
「Infra」频道最新
- 云上全 AI 论破产：企业 AI 正回流本地与混合基础设施 — DavidLinthicum · 2026-09-11
- ThunderKittens 登上 Vera Rubin:NVFP4 GEMM 跑出 22 PFLOPS — togethercompute · 2026-09-11
- 开源 Go 网关：拦截 Agent 失控循环并按 run 归因 LLM 花费 — SnooCauliflowers2631 · 2026-09-11
- 2×RTX 3090 + 512GB DDR5 本地跑大模型，如何冲上 15 t/s？ — levoniust · 2026-09-11
- 用远程 Agent 重建家庭实验室:工具与检查比 LLM 本身更关键 — HankYeomans · 2026-09-11
- 开源 LayerLens：按 token×层粒度剖析 LLM 推理耗时 — Dry_Mixture130 · 2026-09-11