Ripple-65B 终训细节曝光:12T token 约 9 倍过训练

Ricursive Intelligence 公布的模型卡披露了 Ripple-65B 最终训练细节:65B 参数模型消耗 12T token,约合每参数 185 token,相当于约 9 倍过训练。值得注意的是,即便在如此高的过训练倍数下,模型损失仍保持幂律规律,为过度训练下的缩放行为提供了实证参考。

2026-11-06 ~ 2026-11-06 · 2 条相关