Project Orion 在三大洲异构算力上直播训练 16B 模型
markjeffrey · x · 2026-07-28
Project Orion 继续推进其实时分布式训练实验，重点放在异构算力和更长周期的训练上。
- 当前使用的是 4090 和 5090，后续还会加入 A6000、A100 等不同形态和规模的节点。
- 团队正把更多 provider 接入，通过 Bittensor 原生算力、经子网路由来扩展系统。
- 目前跑出的峰值 MFU 为 40%，团队希望通过调参收敛到约 30%。
- 下一阶段会做更长时间的训练，继续观察 DiLoCo 动力学、ResBM 在更大规模下的效果，以及 liquid compute 的可中断实验。
- 被引公告称，Orion-16B 正在跨三大洲、在去中心化且异构的基础设施上实时训练，且没有单一实体拥有它。
「Infra」频道最新
- Gemma 4 在 48GB Mac 上本地实测，MLX 对比 llama.cpp 和 Java 25 — rseroter · 2026-07-28
- Bittensor 子网扩容被视为企业 AI 基建新路径 — markjeffrey · 2026-07-28
- Modular 推理手册拆解 LLM 成本瓶颈与部署优化 — udmrzn · 2026-07-28
- Kimi K3 通过 Merge Gateway 接入美国推理与 ZDR 通道 — shensi · 2026-07-28
- 算力才是前沿 AI 真正难复制的护城河 — GavinSBaker · 2026-07-28
- 租 GPU 加开源模型，让 AI 月账单从 120 万降到 10 万 — kimmonismus · 2026-07-28