Ripple-65B 号称 3200 万美元从头预训练,登顶美国开源 agentic 编码 SOTA
schwentker · x · 2026-11-05
RicursiveAI 发布 Ripple-65B Preview,一个完全从头预训练的 65B 稠密模型,宣称在 agentic coding 任务上刷新美国开源权重模型 SOTA,显著超过多个更大的模型(如 816B、501B、975B 等)。
- 成本:官方称全流程 R&D 成本仅 3200 万美元,约为此前开源 SOTA agentic 编码模型的十分之一;成本涵盖预训练 ladder 开发、数据配比、评测、调试、合成数据生成、后训练配方及最终 hero run。
- 方法论(见配图):以 Olmo 3 的 model ladder 为起点,在小规模上迭代测试干预手段——v1.0 引入 StepFun batch size 与学习率 scaling law,v1.2 从 post-norm 换 pre+post norm,v1.3 用 sigmoid gated attention,v1.5 切换 global NoPE 并加入 LR cooldown 至零,v1.6 加入 value residuals,最终使用大幅上采样代码的自建预训练数据集。
- 效果:复合改动使 4B 规模上代码 compute 效率提升最高 16 倍,即 Ripple 的 ladder 用 1/16 算力即可达到 Olmo 3 基线的代码性能;且基线斜率显示规模越大收益越大。
- swyx 转发称这是「开源模型 SOTA 的复仇者联盟」。该项目较新、第三方验证尚缺,成绩以官方口径为准。
所属事件:Ricursive 发布开源 Ripple-65B，宣称低成本登顶美国 Agentic 编码 SOTA(24 条相关)→
「Infra」频道最新
- 开发者在 Mac Studio 上把 Meta Muse Glimmer 30B 提速最高 21% — TimDarcet · 2026-11-05
- Mach 2 Medium 量化 Qwen 3.8：仅损 1.5% 省 10.9GB，超 Unsloth 同档 — pbaylies · 2026-11-05
- Reddit 实测:Tiel-Coder-35B MoE 本地跑速超 Qwen,256K 上下文 — zxspectrun · 2026-11-05
- 美国 63% 在建/规划数据中心所在州长承诺叫停新项目 — Catholic_Indian10 · 2026-11-05
- Stargate 将吞掉全球 40% DRAM 产能，月耗 90 万片晶圆 — TheZachMueller · 2026-11-05
- Mooncake 作者日：Cloudflare 分享全舰队弹性 KV 缓存方案 — michellechen · 2026-11-05