开发者开源 1T token 预训练数据集，成本仅约 11 美元/十亿 token
jon_durbin · x · 2026-09-11
开发者 jondurbin 公开其预训练运行的完整数据集 chutesai/mesh-1t-prod-mix：约 1 万亿 token 的多阶段预训练语料（纯预训练，不含 SFT/RL），在 Hugging Face 以 gated+自动批准方式开放。
关键细节：
- 数据以 llama3 uint32 token bin 存储（文档间以 EOS 128001 分隔），附验证集与每阶段 mixmanifest./poolconfig. 溯源信息及 SHA256 校验；
- 阶段预算示例：Phase 1 为 600B token（ClimbMix+FinePDFs-Edu、UFW、Stack-code、CC-Math 等），Phase 2 为 285B；
- 附运行 dashboard，训练成本约 11 美元/十亿 token，作者称 MFU 高得离谱，推理表现也令人印象深刻；
- 部分节点来自 lium.io。
所属事件:开发者晒去中心化训练成果：1T token数据集开源，成本约$11/十亿token(5 条相关)→
「Infra」频道最新
- OpenAI Agents API 公测上线,Cloudflare 沙箱可托管 Codex 云端 Agent — ritakozlov · 2026-09-11
- DeepSeek-V4.1-Flash 上线 Fireworks：552B MoE 主打编码与智能体 — lqiao · 2026-09-11
- OpenAI Agents API 接入 Cloudflare，4 分钟部署带 D1 日志的智能体 — craigsdennis · 2026-09-11
- 单张 RTX 3090 训 8 天：GPT-2 改造 MoE 从零训练成功 — rasbt · 2026-09-11
- B3IQ 两周卖出八位数 GPU，称 AI 基建是千亿美元机会 — templecrash · 2026-09-11
- 装个免费软件花掉 100 美元 API 费，agent 成本吐槽引共鸣 — MartinGTobias · 2026-09-11