Bittensor 去中心化训练提速 5 倍：16B 模型合并时间从 31.8 分钟降至 6.7
bittingthembits · x · 2026-10-22
Bittensor 子网 IOTA（SN9）发布去中心化训练优化的实证数据：在 16B 模型上，每轮合并的中位耗时从 31.8 分钟降到 6.7 分钟（快约 5 倍，降 79%）。
背景是去中心化训练中每次合并都要等最慢的机器，拖慢整个集群。优化后的效果（同样 24 小时、140 台机器）：
- 训练 token 多 19%，loss 从 4.17 降到 4.00
- 针对 4-bit 压缩和跳过掉队机器会伤质量的担忧：同样 token 数下 loss 为 4.04 vs 4.05，曲线几乎重合，提速全部来自系统层优化，模型质量无损
- 训练架构为 138 个 worker、10 个流水线阶段、14 个副本，成本还便宜近 20%
「Infra」频道最新
- Thorsten Ball 演示在 exe.dev VM 上用 Docker 快速拉起新 orb 机器 — davidcrawshaw · 2026-10-23
- Turso MVCC 引擎实测：p99.9 事务延迟 2.4ms，较 SQLite 快 500 倍 — glcst · 2026-10-23
- Google 升级 Coral NPU:开放架构+编译器让小设备本地跑 AI 不耗电 — GoogleAI · 2026-10-23
- OCP 2026 全球峰会达 1.5 万人参会，较上届增长 38% — firstadopter · 2026-10-23
- Weaviate 三年把内存占用从 9.9 GB 降到 1.4 GB,压缩算法迭代立功 — CShorten30 · 2026-10-23
- Rescale 五天打造测试失败 AI 分诊 agent，用 Claude 分类自动路由 — AWS ML Blog · 2026-10-23