独立开发者预训练模型:10T tokens 备料,锁定 Apple M5 与 DGX Spark
jon_durbin · x · 2026-11-05
开发者 jondurbin 公布其独立预训练项目进展,称美国中期选举后数据中心扩容与成本不确定性升高,「多元化的算力路径不再是可选项」。
- 数据准备接近完成:约 10T tokens 高质量数据,需分词、合理上采样,工作量和算力消耗都不小
- 硬件支持已锁定 Apple M5 和 NVIDIA DGX Spark,还在等 AMD Ryzen AI MAX+ PRO 495 到货以补充支持
- 分词器选定 openai o200k,并改为数字始终用单 token,以期提升数学能力
- 代码/agentic 流水线收尾中,但不阻塞预训练主线
他引用 Buckminster Fuller 的话表达立场:「你无法通过对抗改变现状,只能用更优的技术让旧事物过时。」
「Infra」频道最新
- Beff 评政策限制：挡不住进步，只会加速太空数据中心建设 — beffjezos · 2026-11-05
- 得州数据中心禁令被指自断财路,Beff Jezos 称损失数万亿 — beffjezos · 2026-11-05
- Together Compiler 引热议：开源社区少见拆解自优化平台技术权衡 — simran_s_arora · 2026-11-05
- 算一兆瓦时算力的账：投入 1 美元能收回 4 美元 — TinfoilTricorn · 2026-11-05
- Unsloth 发布 Qwen3.8-Flash-Next 本地运行指南：1-bit 仅 75GB — gnukeith · 2026-11-05
- Ripple 模型阶梯实证：换数据集带来 4 倍提升，换架构仅 3 倍 — finbarrtimbers · 2026-11-05