开源预训练以十分之一成本追平 Llama 3.2 1B
开发者 jondurbin 公布开源预训练项目「Kappa run」的阶段性结果并宣布停止该轮训练:以约 9T tokens 训练、576B checkpoint 阶段,模型在 ARC-C、OBQA、TQA 等基准上追平 Llama 3.2 1B,而成本仅约为其十分之一;单张 5090 可跑出 2.3 万 tps 解码速度,自训成本下降约 90%。作者还复盘了训练过程中踩过的四大坑。
2026-10-03 ~ 2026-10-04 · 3 条相关
- 成本仅为 1/10,开源预训练跑分追平 Llama 3.2 1B,作者复盘四大坑 — jon_durbin · 2026-10-03
- 单张 5090 跑出 2.3 万 tps 解码,自训模型成本降约 90% — jon_durbin · 2026-10-03
- 开源预训练以约 10% 成本追平 Llama 3.2 1B,576B checkpoint 数据公布 — jon_durbin · 2026-10-04