开源预训练以约 10% 成本追平 Llama 3.2 1B,576B checkpoint 数据公布
jon_durbin · x · 2026-10-04
开发者 jondurbin 公布其开源预训练项目「Kappa run」的阶段性结果,并宣布停止该轮训练。
- 在 9T tokens、576B checkpoint 阶段,模型在 ARC-C、OBBA、TQA 等基准上超过了 Llama 3.2 1B,在 ARC-E、SciQ 等上接近持平
- 每 token 训练成本比对照便宜约 90%,作者称之为可靠的初步胜利
- 已知问题:Gated DeltaNet-2 某个头的 per-channel decay gate 发生下溢(underflow)
- 下一步计划:增大模型宽度、移除 shared experts;作者认为本轮推理(reasoning)表现平平可能与此有关,但 GDN2 的问题使归因尚不确定
所属事件:开源预训练以十分之一成本追平 Llama 3.2 1B(3 条相关)→
「研究」频道最新
- ENCODE 新预印本:神经网络模型可预测 GATA 基序间超加性相互作用 — anshulkundaje · 2026-11-19
- Murat 发布 TLAPS-Bench:用 TLA+ 形式化证明真实系统规格的正确性 — tianyin_xu · 2026-11-19
- 斯坦福学者详解 ChIP-seq 结合深度学习的 motif 解析难题 — anshulkundaje · 2026-11-19
- Mahina 4.0 LoRA 适配器声称可减少幻觉,公开征集压力测试 — External-Fee-8920 · 2026-11-19
- 顶级实验室的最大优势不是钱,而是帮你省下数年试错时间 — madeofAjala · 2026-11-19
- LEV 循环决策模型:2.6B 模型四轮推理准确率 63.2%→76.2% — jiqizhixin · 2026-11-19