开源预训练以十分之一成本追平 Llama 3.2 1B

开发者 jondurbin 公布开源预训练项目「Kappa run」的阶段性结果并宣布停止该轮训练:以约 9T tokens 训练、576B checkpoint 阶段,模型在 ARC-C、OBQA、TQA 等基准上追平 Llama 3.2 1B,而成本仅约为其十分之一;单张 5090 可跑出 2.3 万 tps 解码速度,自训成本下降约 90%。作者还复盘了训练过程中踩过的四大坑。

2026-10-03 ~ 2026-10-04 · 3 条相关