开发者以十分之一成本开源预训练追平 Llama 3.2 1B

开发者 jondurbin 公开其 Kappa 预训练运行的初步结果、推理代码与踩坑复盘：模型以约 9T tokens 训练，在 576B token 的 checkpoint 上 ARC-C、OBQA、TQA 等跑分追平 Llama 3.2 1B，成本仅为常规的约十分之一，自训模型成本降低约 90%，且推理可在单张 RTX 5090 上跑出每秒 2.3 万 token 的解码速度。

2026-10-03 ~ 2026-10-03 · 2 条相关

• 成本仅为 1/10,开源预训练跑分追平 Llama 3.2 1B,作者复盘四大坑 — jon_durbin · 2026-10-03
• 单张 5090 跑出 2.3 万 tps 解码，自训模型成本降约 90% — jon_durbin · 2026-10-03