Self-Refine: Iterative Refinement with Self-Feedback
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark
cs.CL, cs.AI, cs.LG
2023-03-31
让同一个 LLM 先生成初稿、再给自己写反馈、再照反馈改写,最多迭代 4 轮,7 项任务平均绝对提升约 20%,但 GSM8K 数学推理几乎原地踏步。
LLM 一次生成往往不是最优输出:对话回复平淡、代码跑得慢、按关键词约束造句会漏词。此前的改错路线要么给每个任务训练一个专门的 refiner(如 PEER、Self-Correction),要么靠人工标注或奖励模型,换一个任务就得重来一遍。Self-Refine 把问题换成更省的版本:不加任何训练,模型能不能自己当自己的审稿人和编辑。
整套流程只需要一个 LLM 和三个 few-shot prompt:初始生成、反馈、改写。
两个设计选择撑起了效果。第一,反馈用自然语言而不用标量奖励,因为预训练模型本身就能写文字点评,不需要再训一个打分器。第二,改写时把历史上所有草稿和反馈拼进 prompt,模型可以避开重复犯错。多维度任务(缩写要好读、好拼、还得切题)会让反馈给各维度打数值分,最终按最高总分挑输出,防止某轮改好了发音却拼坏了词。
| 任务(基线→Self-Refine) | GPT-3.5 | ChatGPT | GPT-4 |
| 对话回复(偏好率) | 36.4→63.6 | 40.1→59.9 | 25.4→74.6 |
| 情感反转(偏好率) | 8.8→30.4 | 11.4→43.2 | 3.8→36.2 |
| 代码优化(优化率%) | 14.8→23.0 | 23.9→27.5 | 27.3→36.0 |
| 数学推理(GSM8K) | 64.1→64.1 | 74.8→75.0 | 92.9→93.1 |
对照组是同一模型的一次性直接生成,平均绝对提升约 20%。外部对照:GSM8K 上同用 GPT-3 底座,训练过 corrector 的 Self-Correction 拿 45.9%,Self-Refine 拿 55.7%;代码优化 PIE 上,GPT-4 加 Self-Refine 最多用 4 个样本拿到 36.0%,接近采 32 个样本的 PIE few-shot 上限 38.3%(人工改写参考是 38.2%)。
数学几乎不动,原因论文写得很直白:模型认不出自己的错,ChatGPT 对 94% 样本的反馈都是「看起来没问题」。换成外部 Oracle 告知对错,GPT-3.5 立刻多涨 4.8 个点。
消融把机制拆开了看:把反馈换成「请提高效率」这类泛泛之谈,情感反转从 43.2 掉到 31.2,完全不给反馈则直接归零;迭代收益递减,代码优化三轮从 22.0 涨到 28.8,大头在第一轮;跟「直接采样 4 个输出挑最好的」相比,人类盲评仍偏好 Self-Refine 的结果。失败案例分析(70 例)里,94% 的失败源头是反馈错了(指错位置或开错药方),只有 6% 是改写环节把好反馈执行砸了。
这是 test-time scaling 这条线的源头工作之一:不加参数、不训模型,用推理时多算几步换质量。对从业者,它是一个几乎零成本就能套上的输出改写循环,最适合偏好类和多约束类任务(对话、文案、按关键词生成)。数学上的失败同样有信息量:答案对错分明但模型自评不出来的领域,纯自我反馈会失灵,这正好解释了后来 verifier 和过程奖励模型为什么必要。
作者自述:底座必须够强,Vicuna-13B 连反馈格式都稳定不了,喂给它现成的正确反馈也不照着改;实验全在闭源 API 模型上做,细节不透明且要花钱;只测了英文。还有几笔账论文没算:每个输出要多轮调用,token 成本数倍上升,正文没报;偏好类指标部分靠 GPT-4 代打(与人类一致率 68%–82%),人类 A/B 盲评由作者本人完成,每任务 150 例,规模有限。