Ripple-65B 终训细节:12T token 训 65B 模型,约 9 倍过训练

_katieeverett · x · 2026-11-06

Katie Everett 从模型卡补充 Ripple-65B 的最终训练细节:65B 参数模型使用了 12T token(约每参数 185 token,相当于约 9 倍过训练),预训练期间 batch size 从 1408 序列(11.5M token)增至 3072 序列(25.2M token)。她还指出对比图中的点来自 Chinchilla 最优(1 倍过训练)运行,其 FLOP 值与 Olmo 3 阶梯中七个模型尺寸在每参数 20 token 下按 6ND 启发式计算的结果一致。

所属事件:Ripple-65B 终训细节曝光:12T token 约 9 倍过训练(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →