Georgia Tech/IBM/MIT 用流模型迭代推理,但自纠错会越错越自信

burkov · x · 2026-09-05

来自 Georgia Tech、IBM、MIT 与 MIT-IBM Watson AI Lab 的论文探索了一种新的推理方法:数独、路径寻找、逻辑谜题等推理问题需要多个决策相互保持一致,而常见生成方法要么逐个承诺选择、要么并行更新却缺乏充分交互。该工作用流模型(flow model)逐步把噪声转化为结构化答案,并把每轮预测结果回喂给模型,让后续迭代修正前面的错误。

关键发现:仅靠这种循环递归并不可靠——迭代若干轮后,模型可能锁定一个错误答案并对其越来越自信。原因在于训练时模型见到的中间状态比自己在推理时产生的更「干净」,存在训练-推理分布差异。论文据此讨论了如何弥合这一差距。