Ripple 模型阶梯实验显示数据比架构更影响性能

Finbarr Timbers 点评 Ricursive Intelligence 的 Ripple 模型训练阶梯(ladder)结果,指出一个反直觉发现:数据的影响比架构更重要。实验对比显示,更换数据集带来约 4 倍的性能提升,而更换架构仅带来约 3 倍收益,例如 Ripple 1.6 与 Olmo3 在同一数据集下对比新架构的收益有限。他认为数据与架构的影响接近同等重要,这一结果出乎其意料。

2026-11-05 ~ 2026-11-05 · 2 条相关