Ripple-65B 终训细节:12T token 训 65B 模型,约 9 倍过训练
_katieeverett · x · 2026-11-06
Katie Everett 从模型卡补充 Ripple-65B 的最终训练细节:65B 参数模型使用了 12T token(约每参数 185 token,相当于约 9 倍过训练),预训练期间 batch size 从 1408 序列(11.5M token)增至 3072 序列(25.2M token)。她还指出对比图中的点来自 Chinchilla 最优(1 倍过训练)运行,其 FLOP 值与 Olmo 3 阶梯中七个模型尺寸在每参数 20 token 下按 6ND 启发式计算的结果一致。
所属事件:Ripple-65B 终训细节曝光:12T token 约 9 倍过训练(2 条相关)→
「Infra」频道最新
- Melt_Dem 预言:推理优化各层将坍缩成实时撮合市场 — const_reborn · 2026-11-23
- 在 200 万条 AI 请求里埋蜜罐:3 家托管商沦陷,零数据保留承诺形同虚设 — ccerrato147 · 2026-11-23
- llama.cpp 合入 token 感知解析:工具调用更稳、吞吐更高 — jacek2023 · 2026-11-23
- 26B 本地模型 Inkling 2 Mini 发布,有人用它重造 Apple Notes — simonguozirui · 2026-11-23
- 1.5 人一周用 300+ 个 Agent 搭出每秒 1200 次创建的沙箱平台 — _arohan_ · 2026-11-23
- Context Layer 不违背苦涩教训:LLM 时代的索引本质是数据搬运经济学 — CShorten30 · 2026-11-23