RSI 时代 scaling law 研究被重新定价：小模型可当大模型代理

ChengleiSi · x · 2026-11-09

这是一条观点转发：原作者认为在递归自我改进（RSI）时代，研究清楚 scaling law 变得前所未有的重要——如果你能把小模型上的结论合理地作为代理迁移到大模型，就有机会让 AI 自己在小模型上探索出更优的架构、data recipe 和 infra，甚至把这些探索包装成 RL 训练任务和 benchmark，因为随着算力提升，小模型的验证成本将逐渐变得可接受。

被引用的讨论则指出现状的问题：目前公开研究博客中关于 scaling law 的结论与叙事彼此矛盾、太强地绑定具体数据；在小规模（预训练 token 数较低）下，脱离数据谈统一 scaling law 几乎不可能，作者希望在统一数据的前提下为 scaling 提供一些实验性洞察。