Ricursive 65B 模型训练细节:12T tokens、约 9 倍过训练仍保持幂律

_katieeverett · x · 2026-11-06

据模型卡,Ricursive 最终训练跑用一个 65B 参数模型吃了 12T tokens(约每参数 185 tokens,相当于约 9 倍过训练),预训练期间 batch size 从 1408 序列(11.5M tokens)增至 3072 序列(25.2M tokens)。作者总结:架构与数据改动带来的常数级改进相互叠加,且保留了与 v1.0 一样干净的幂律 scaling。

所属事件:Ripple-65B 终训细节曝光:12T token 约 9 倍过训练(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →