Looped Flows:用去噪目标训练循环推理,登顶 ARC-AGI 循环模型
研究者 ayhozade 团队发布论文《Thinking with Looped Flows》,提出一种新推理范式:用局部去噪目标(denoising objectives)训练循环(looped/recurrent)架构,让神经网络学会「通过去噪来思考」,在不增加参数的情况下获得更强推理能力。该方法在 ARC-AGI-1 上达到 58.8%,登顶循环模型的 SoTA。
已确认
- 循环模型在推理时用同一组参数反复更新共享隐状态,从而「多想几步」、投入更多推理时计算求解更难的问题
- 训练难点在于:跨多个循环步做完整反向传播代价高且不稳定,通常只能在一两步后截断梯度,导致早期更新难以学会为后续更新做准备
- 解法是引入局部去噪目标来训练循环推理,使各次更新都能得到有效学习信号
- @burkov 指出该方法破解的正是循环模型多步反向传播不稳的老问题
- 多位转发者(@erikjbekkers、@LucaAmb、@NandoDF)将其定位为 flow-based 语言模型路线的延续
- ARC-AGI-1 成绩为 58.8%
为什么重要
- 该方法不增加参数即可提升推理能力,为推理时扩展计算(test-time compute)提供了新路径
- 去噪目标让早期循环步也能获得直接学习信号,解决了循环模型训练中长期存在的不稳定与信号缺失问题,可能推动循环/递归架构在语言模型中的应用
2026-09-11 ~ 2026-09-13 · 6 条相关
一手来源
- 循环去噪推理新范式 Looped Flows 登顶 ARC-AGI 循环模型 SoTA — erikjbekkers ·
- Looped Flows 新方法破解循环模型多步反传不稳难题 — burkov ·
- Looped Flows 论文:ARC-AGI-1 达 58.8%,用去噪目标训练循环模型 — chaumian ·
- 【源头】循环去噪推理新范式 Looped Flows 登顶 ARC-AGI 循环模型 SoTA — erikjbekkers · 2026-09-11
- Looped Flows:局部去噪训练让循环模型推理更强 — omarsar0 · 2026-09-13
- 【源头】Looped Flows 新方法破解循环模型多步反传不稳难题 — burkov · 2026-09-13