字节开源 LoopLM：循环潜空间推理让 1.4B 模型比肩 12B 竞品，Bengio 参与

peterjliu · x · 2026-09-03

字节跳动的论文《Scaling Latent Reasoning via Looped Language Models》开源了 Ouro 系列预训练模型（LoopLM），把推理内建于预训练阶段：在潜空间做迭代计算、用熵正则目标学习深度分配、扩至 7.7T tokens。Ouro 1.4B 与 2.6B 模型在多项基准上可匹敌最高 12B 的 SOTA LLM，且优势来自更强的知识操纵能力而非知识容量；LoopLM 的推理轨迹与最终输出比显式 CoT 更一致。作者包括 Yoshua Bengio 等人，peterjliu 指出该工作与 OpenAI 削弱 CoT 可监控性的新闻相关——潜空间推理正是「不可审计推理」方向的实例。