成本约 $11/b tokens、MFU 惊人:某训练运行细节曝光
jon_durbin · x · 2026-09-11
作者分享了一次模型训练运行的 dashboard 截图与细节:成本约 $11/b tokens,作者称「insane」,MFU 也非常高,整体表现「pretty legendary」,推理方面同样出色。
技术细节:GPU 节点的带宽同时承载训练与数据集流式传输——节点不预下载数据集,而是通过 p2p backbone/syncer 节点以带 cursor failover 的方式分发数据、处理故障转移。作者还使用了 lium.io 的若干节点。
所属事件:jon_durbin 去中心化训练跑出约 11 美元/十亿 token 并开源 1T 数据集(5 条相关)→
「Infra」频道最新
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- 9B 本地模型干机械活,规划交给大模型:一套省 token 的编程 agent 分工法 — Electrical_Ninja3805 · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- Gary Marcus:补上 Q3 数据后，Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- SpaceX 锁定 400 亿美元 GPU 融资，号称史上最大规模 — TechCrunch AI · 2026-10-27
- 推理社区与 K8s 社区高度重合：万亿市场的 Kubernetes 翻版 — matt_slotnick · 2026-10-27