Ripple-65B 终训细节:12T token 训 65B 模型,约 9 倍过训练
_katieeverett · x · 2026-11-06
Katie Everett 从模型卡补充 Ripple-65B 的最终训练细节:65B 参数模型使用了 12T token(约每参数 185 token,相当于约 9 倍过训练),预训练期间 batch size 从 1408 序列(11.5M token)增至 3072 序列(25.2M token)。她还指出对比图中的点来自 Chinchilla 最优(1 倍过训练)运行,其 FLOP 值与 Olmo 3 阶梯中七个模型尺寸在每参数 20 token 下按 6ND 启发式计算的结果一致。
所属事件:Ripple-65B 终训细节曝光:12T token 约 9 倍过训练(2 条相关)→
「Infra」频道最新
- nanoGPTJAX 作者预告大改版:拆分硬件内核、瞄准 NVFP4 — A_K_Nain · 2026-11-08
- Zyphra 发布 ZHA 树状稀疏注意力,35B 模型只查 1-6% KV 缓存 — burny_tech · 2026-11-08
- llama.cpp 合并新 PR:MoE 未命中专家可直接在 CPU 上跑 — QuixiAI · 2026-11-08
- DGX Spark 价格开始下探 — AIFlow_ML · 2026-11-08
- MOSS-Image 5B 完整跑进手机 NPU:骁龙 8+ 出 512x768 图约 30 秒 — shirosoro · 2026-11-08
- OpenRouter 上 72% token 已由开源模型处理,企业该备好降级方案 — shashib · 2026-11-08