小模型验证不可靠?Langford 谈规模阈值效应并引 NextLat 论文

JohnCLangford · x · 2026-10-13

John Langford 与网友讨论 AI 研究方法:小规模实验能否验证大规模才成立的想法。他基于自适应 RL 控制背景指出,规模上存在阈值效应,能力可能出现阶跃变化,因此小规模验证会有混杂变量;但反过来说,"只在更大规模才有效"有时也意味着你看的是方法的错误版本。他举自己参与的新论文 NextLat 为例:在 latent 空间引入自监督的 Next-Latent Prediction 辅助目标,理论上可证明 latents 收敛到 belief states,给 Transformer 注入循环归纳偏置而不改变架构与推理效率,在世界模型、推理、规划与语言建模基准上小规模即优于标准 next-token 训练。