成本仅为 1/10,开源预训练跑分追平 Llama 3.2 1B,作者复盘四大坑
jon_durbin · x · 2026-10-03
jondurbin 介绍了其 Kappa 预训练运行的初步结果与踩坑复盘:
成绩:在 576B token 的 checkpoint 上,ARC-C、OBQA、TQA 等 benchmark 已超过 Llama 3.2 1B(后者用了 9T tokens),ARC-E、SciQ 等也接近持平,而每 token 成本约便宜 90%。
运行中的问题:
- 某 Gated DeltaNet-2 头的 per-channel decay gate 下溢,导致状态清零,输出 RMSNorm 把近零输出放大上千倍,引发全集群梯度尖峰;
- 严重滞后/慢节点给出的数据被直接丢弃,本应更好地容忍陈旧数据与部分更新;
- 样本打包时未做 masking,对预训练并非最优;
- 首尾层使用 GDN2 可能不如 SWA,暂无明确证据但值得验证。
作者称这是一次「扎实的前期胜利」,后续会修复这些问题。
所属事件:开源预训练以十分之一成本追平 Llama 3.2 1B(3 条相关)→
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19