A Zeroth-Order Paradigm for LLM Preference Alignment
Peter Chen, Xi Chen, Wotao Yin, Tianyi Lin
cs.CL, cs.AI, cs.LG
2026-09-17
ComPO把参考模型间隔很小的偏好对当成比较神谕，扰动输出层估方向。接在DPOclean后，Mistral-7B-Instruct的AlpacaEval 2长度控制胜率从24.14%升到26.17%；在线阻尼再加回放，Gemma-3-4B-it的Arena-Hard从57.7%升到63.7%。
DPO 一类直接对齐方法不训奖励模型，省算力，但会碰上似然位移：偏好间隔被拉开的同时，preferred 回复的绝对概率在掉，质量被推到语义相反的回复上。Razin 等人用 CHES 把「太像」的偏好对滤掉，效果比加 SFT 正则更好。滤掉等于这些对不再参与训练。间隔小不等于标签错，局部仍可能告诉你：邻近参数里，谁在抬 preferred、压 dispreferred。
DPO 的间隔损失是对齐目标的代理。间隔清楚时代理好用；间隔很小时，把同一条可微损失直接优化，容易把概率质量推到别处。需要另一种用法：这些对提供比较信号，不当损失样本。
ComPO 是零阶方法。对当前参数做随机扰动，看 preferred 的对数似然有没有升、dispreferred 有没有降，得到 +1/−1。用这些一比特测量估一个近似稀疏的单位方向再更新。理论方案对全参数做，在平滑、梯度稀疏、神谕与某个隐函数一致的条件下，有 best-iterate 收敛，查询次数对维度只是对数。
实践方案只扰动输出层，其余冻结。方向取带符号扰动的归一化和，再按幅度阈值清掉小分量。仅当「更好」的扰动比例超过 λ 才更新。数据按参考模型划分：对数似然间隔不超过 δmargin=3 的叫 noisy，其余叫 clean。先在 clean 上跑 DPO 或 SimPO，再把 ComPO 打在 noisy 上。
在线版比较方向仍来自离线 noisy 对，不采新偏好标签。用当前策略在未标注 prompt 上采样，算长度归一化的 reverse-KL 代理，超阈值就缩小步长。通过门控的 mini-batch 进回放缓冲。实践方案并不执行理论上的硬 KL 约束，定理覆盖不了它。
离线数据是 UltraFeedback。Mistral-7B-Instruct 上，SFT 的 AlpacaEval 2 LC 为 16.54，DPO 24.14，只训 clean 为 23.89，clean+ComPO 为 26.17，原始胜率 16.71 到 18.32。MT-Bench 从 5.86 到 7.69。Arena-Hard（GPT-4 Turbo）从 14.4 掉到 10.5，同一设置换 GPT-4.1 裁判则从 10.40 升到 11.20。裁判换了，结论会翻。Llama-3-8B-Instruct 的 LC 从 DPO 的 32.59 到 35.79，Arena-Hard 22.9 到 23.1，方向一致且波动小。
接到现成 SimPO 上：Gemma-2-9B-it 的 LC 60.36 到 62.42；Mistral-Instruct 40.22 到 42.27。不先做 clean 划分、直接在 DPO 检查点上打 ComPO，Mistral-Instruct 的 LC 24.14 到 27.03。成对诊断里，Llama-3-Instruct 一条样本从 (−46.761, −47.410) 走到 (−46.728, −47.520)，preferred 升、dispreferred 降。λg 保留大约 1%–6% 的输出层分量时 AlpacaEval 最好；noisy 对从 100 增到 300，WR 均值 19.21 到 20.07。扰动三层 MLP 加输出层，LC 均值 25.02 到 26.00。
在线加阻尼和回放（GPT-4.1 配置）：Qwen3-4B-Base 的 LC，DPO 15.28，离线 ComPO 16.20，加阻尼 17.43，再加回放 18.57。Gemma-3-4B-it 的 Arena-Hard，离线 ComPO 57.7，阻尼 63.3，回放 63.7。
低间隔偏好对不必扔掉，也不必再喂给同一条 DPO 损失。比较神谕是第三条路：clean 对继续用直接对齐，noisy 对只提供方向。输出层扰动加 1600–1800 次查询，能接在现成 DPO/SimPO 检查点后面。谁在用 UltraFeedback 一类数据做对齐，都可以按间隔把数据切开试一次。它补的是数据几何，不是新的奖励模型。
实践更新几乎只动输出层，和全参数定理不是一回事。Mistral-Instruct 在 GPT-4 Turbo 的 Arena-Hard 上明显回退，论文主表仍把 LC 当主指标。长度控制胜率高，并不等于回复变短。在线阻尼用的是长度归一化统计量，不是序列级 reverse KL，硬约束定理用不上。神谕兼容性是假设，隐函数不可观测。主表多是单次点估计，消融才给五次均值。δmargin=3 是启发式，CHES 可能切得更准，论文没有直接比过滤策略。