去中心化训练 Pluralis-8B:98 节点消费级 GPU,约 11 美元/十亿 token
jon_durbin · x · 2026-09-11
开发者 jondurbin 展示 Pluralis-8B 去中心化训练跑的对比数据:与同基础设施(4090/5090 消费级 GPU 组网)、同 tokenizer、同 1.3T FineWeb 数据集的另一项目类似,但 Pluralis-8B 是 8.6B 总参数的 dense 模型而非 MoE。公开 dashboard 显示成本约 11 美元/十亿 token,作者称这一 MFU 与推理表现「相当传奇」。项目在 Agora 平台公开训练遥测数据,有 98 个贡献节点参与,是消费级 GPU 去中心化大模型训练的少见公开实验。
所属事件:开发者晒去中心化训练成果：1T token数据集开源，成本约$11/十亿token(5 条相关)→
「Infra」频道最新
- DeepSeek-V4.1-Flash 上线 Fireworks：552B MoE 主打编码与智能体 — lqiao · 2026-09-11
- OpenAI Agents API 接入 Cloudflare，4 分钟部署带 D1 日志的智能体 — craigsdennis · 2026-09-11
- 单张 RTX 3090 训 8 天：GPT-2 改造 MoE 从零训练成功 — rasbt · 2026-09-11
- B3IQ 两周卖出八位数 GPU，称 AI 基建是千亿美元机会 — templecrash · 2026-09-11
- 装个免费软件花掉 100 美元 API 费，agent 成本吐槽引共鸣 — MartinGTobias · 2026-09-11
- bartowski 为 GGUF 量化模型设计新张量布局，测试全面优于旧版 — noneabove1182 · 2026-09-11