Looped Flows:局部去噪训练让循环模型推理更强
omarsar0 · x · 2026-09-13
一篇改进循环推理的新论文提出 Looped Flows:一种带新训练方法的循环架构,目标是不增加参数就获得更强推理能力。
- 循环模型通过在推理时反复更新隐藏状态来“多想几步”,难点在于训练:梯度通常只流过最后一两次更新,早期更新学不会为后续更新做铺垫。
- 该工作借鉴 flow 模型的训练方式,用局部去噪目标训练循环:噪声水平逐级递减并共享同一噪声样本,把每次更新与下一次绑定起来。
- 推理时模型沿概率流进行,可用更细的时间网格换取更多算力。
- 作者报告在六个推理基准中的五个上超过此前循环模型。
所属事件:Looped Flows:用去噪目标训练循环推理,登顶 ARC-AGI 循环模型(6 条相关)→
「研究」频道最新
- Mandelbrot 集拼图结构在 Lean 中完成形式化计算,实拍级图表曝光 — geoffreyirving · 2026-10-28
- NVIDIA 发布 ThinkWorld:让机器人通过物理动力学共享空间向人类视频学习 — CMHungSteven · 2026-10-28
- Geoffrey Irving 对 CSETH 突破给出 >80% 概率预测 — geoffreyirving · 2026-10-28
- 抗衰研究数据荒:Norn 募资 1500 万美元为 AI 备好训练数据 — juanbenet · 2026-10-28
- 研究员自曝置信度乌龙:把 SETH 当 CSETH,重估 P vs NP 赔率 — geoffreyirving · 2026-10-28
- Google 论文指出 softmax 标准实现藏两个数值 bug,引发形式验证讨论 — srush_nlp · 2026-10-28