Ricursive 65B 模型训练细节:12T tokens、约 9 倍过训练仍保持幂律
_katieeverett · x · 2026-11-06
据模型卡,Ricursive 最终训练跑用一个 65B 参数模型吃了 12T tokens(约每参数 185 tokens,相当于约 9 倍过训练),预训练期间 batch size 从 1408 序列(11.5M tokens)增至 3072 序列(25.2M tokens)。作者总结:架构与数据改动带来的常数级改进相互叠加,且保留了与 v1.0 一样干净的幂律 scaling。
所属事件:Ripple-65B 终训细节曝光:12T token 约 9 倍过训练(2 条相关)→
「研究」频道最新
- LeCun 回呛质疑:自回归 LLM 有根本缺陷,出路是搜索式推理 — ylecun · 2026-11-23
- 数学学者提议把本地模型调优到 Lean 定理证明最强 — StefanoGogioso · 2026-11-23
- 研究实测 10 款大模型:同一过错,男性被全责归咎概率高出 23 个百分点 — alex_verem · 2026-11-23
- ReLU 分类器离数据越远越自信:2019 年定理解释 softmax 置信度为何不可信 — bravo_abad · 2026-11-23
- 研究者用 Gemini 与 GPT 拆解黎曼猜想 Lean 形式化证明,出 55 页导读 — chaumian · 2026-11-23
- 25万页的AI数学证明来了,Sandberg展望「证明压缩术」 — anderssandberg · 2026-11-23