A General Theoretical Paradigm to Understand Learning from Human Preferences
Mohammad Gheshlaghi Azar, Mark Rowland, Bilal Piot, Daniel Guo, Daniele Calandriello, Michal Valko, Rémi Munos
cs.AI, cs.LG, stat.ML
2023-10-18
ΨPO把RLHF和DPO收成同一目标。IPO取恒等映射，把相对参考策略的对数比回归到1/(2τ)，全胜时KL仍生效。
对齐数据是一条上下文、两段续写，以及人更喜欢哪一段。RLHF 先用 Bradley-Terry 模型把成对比较压成逐点奖励，这个奖励可以当成 Elo 分，再用 PPO 最大化奖励，同时用 KL 把策略留在参考策略 πref 附近。这里有两个近似。成对偏好被假定能写成两份奖励之差的 sigmoid。在采集数据上训出的奖励，还被假定能推广到策略后来自己采样的文本。
DPO 不训奖励，直接在已有偏好上更新策略，第二个近似没了。损失仍是在对数似然比上套 sigmoid，底下的变换是 logit，即 log(q/(1-q))，Bradley-Terry 还在。偏好一旦接近非此即彼，这个假设会把 KL 系数 τ 掏空。
Google DeepMind 把这类算法收成 ΨPO。Ψ 是偏好概率上的任意非降函数。策略去最大化 E[Ψ(p(y 胜过 y′))]，再减去 τ 倍对 πref 的 KL。被比较的另一侧来自行为策略 μ。
Ψ 取 logit，并且真实偏好服从 Bradley-Terry 时，命题 1 给出结论：ΨPO、RLHF 的 KL 正则目标和 DPO 的最优策略相同。闭式解里，π(y) 正比于 πref(y) 乘以 exp(τ 的倒数乘 E[Ψ(p)])。
logit 没有上界。若 p(y 胜过 y′) 等于 1，Bradley-Terry 只能把奖励差推到正无穷，闭式解里输家概率是 0，τ 多大都不改结果。有限样本里更常见：真实偏好是 0.8，比较次数少时经验频率仍可以是 1，经验最优同样把输家打成 0。
实践中的 RLHF 往往没这么脆，理由是奖励模型欠拟合。偏好落在 0 和 1 时最优奖励是无穷，网络拟合不到那个无穷，策略就被留在 πref 附近。DPO 不训奖励，这层欠拟合带来的正则一起消失。
IPO 把 Ψ 换成恒等映射，直接最大化总偏好，再减同一个 KL。最优策略仍有闭式，π(y) 正比于 πref(y) 乘以 exp(τ 的倒数乘 p(y 胜过 μ))。离线训练不走 logistic，把最优策略改写成一组方程，再最小化两边之差的平方。定理 2 证明，在和 μ、πref 支撑集相同的策略里，局部最小值唯一，就是这个最优策略。
抽样时把每条偏好正反各算一次，损失收成 (h 减 1/(2τ)) 的平方。h 是 log(π(yw)/π(yl)) 减去 log(πref(yw)/πref(yl))。训练从 πref 出发，把相对参考策略的对数似然比之差回归到常数 1/(2τ)。τ 越大，允许拉开的间隔越小。偏好全是 0 和 1 时，目标仍是有限数。
没有语言模型实验，也没有人类偏好基准上的数字。正文把语言模型实验留给后续工作。现有数字都来自无上下文的 bandit。
两个动作，y1 对 y2 的真实偏好是 1，πref 和 μ 都均匀。DPO 对任意 τ 都收到只选 y1 的策略。IPO 先得到 y1 胜过 μ 的概率 3/4、y2 胜过 μ 的概率 1/4，于是 y1 的概率是 σ(0.5/τ)，y2 的概率是 σ(-0.5/τ)。τ 趋向无穷时回到均匀参考策略，τ 趋向 0 才只选 y1。
三个动作用 softmax 参数化，Adam 学习率 0.01、batch 为 9、优化 18000 步，10 个种子，报告均值和 95% 置信区间。D1 每对只比一次，构成全序。D3 里 yc 从未出现，ya 与 yb 互有胜负。两张图里 DPO 都不看 τ，IPO 则随 τ 靠近 πref。曲线没有标出具体概率，也没有和 PPO、SLiC-HF 的数值对照。
| 设置 | DPO | IPO |
| 两动作，偏好恒为 1，均匀 πref | 任意 τ，赢家概率为 1 | 赢家概率 σ(0.5/τ)，τ 趋向无穷时回到均匀 |
| 三动作全序，每对只看一次 | 试过的 τ 都收到确定性策略 | 正则强时保持非贪心 |
| 一个动作从未获胜 | 该动作概率为 0，与 τ 无关 | τ 越大越靠近 πref |
在一批语言任务上，DPO 和 RLHF 接近，实现更简单，也更省资源。失效的地方很具体：比较一边倒，或某条回复在数据里从没赢过时，损失里的 τ 控制不住离 πref 的距离。对齐数据里这两种情况都常见。
IPO 读入的东西和 DPO 一样：上下文、胜者、负者、参考策略的对数概率。损失从 logistic 改成对常数 1/(2τ) 的平方回归，实现上就是换一个损失，也不再要求成对偏好必须还原成逐点奖励。
它修补的是极端偏好下的正则，不是一份新榜单。真实数据上 DPO 会不会欠正则，间隔被钉死后 IPO 还能不能学到细偏好，都还没测。
第 5.3 和 5.4 节被标成示意，下一步才是在人类偏好上训练语言模型。三个动作、最多三条比较、固定 18000 步，够看 DPO 会不会无视 τ，不够支持更一般的优劣结论。有循环的数据集 D2 只被点名，没有实验。SLiC-HF 没有被放进这组等价里。
每一对样本的回归目标都是同一个 1/(2τ)。标注有噪声、偏好不可传递时，这个常数还对不对，没有分析。定理要求 μ 和 πref 支撑集一致。数据里完全没出现的回复，只在 D3 上看了一眼，没有样本复杂度。
RLHF 更稳来自奖励欠拟合，这是观察，不是证明。奖励若加了很强的权重衰减，或者经验偏好到不了 0 和 1，DPO 的 KL 不一定失效。提前停止被承认是另一种正则，但没有和 IPO 比过。有上界、却不是恒等的 Ψ，会不会更合适，留空了。