Steerable Multi-Objective Group-Relative Preference Optimization with Jointly Trained Low-Rank Adapters
Constantinos Karouzos, Nikolaos Aletras
cs.CL, cs.AI, cs.LG
2026-11-06
同一偏好向量同时控制 LoRA 适配器混合与奖励加权,单次 GRPO 训练即可在推理时调整目标权衡,hypervolume 超全部条件化与合并基线。
对齐阶段的多个目标经常互相打架:回答要有用就得冒险,要无害就得保守;数学题要算对,又得严格遵守格式和字数约束。标准做法是 GRPO 这类组相对 RL 按一组固定权重把奖励加总,训出单个策略,权重在训练前就定死,部署后偏好变了只能重训。已有的可调方案各有代价:把分别训练的模型做合并(Preference Vector、rewarded soups)或路由(HoE)要多次训练;CLP 这类把偏好写进 prompt 的条件化方法一次训练就够,但对偏好变化反应很弱,Qwen3.5-9B 上 prompt 条件化的有用性得分全跨度只有 0.300。目标很明确:一次训练得到一整族策略,推理时拧一个向量就能换工作点。
冻结基座,每个目标挂一个 LoRA(低秩适配器,rank 8)。偏好向量 λ 落在单纯形上,直接决定每层权重的混合:W(λ) = W0 + (α/r)·Σ λt·Bt·At。B 初始化为 0,初始策略对任何偏好都等于基座。关键设计是同一个 λ 用在两处:
这样每个混合策略都朝着与它匹配的权重学习。消融证明这两处必须一起动:只变混合或只变权重,PKU 上 hypervolume 从 0.8735 掉到 0.8144 和 0.7960,两个目标的得分跨度从 1.931/1.982 缩到 0.1 量级,基本失去可调性。推理时挑一个 λ 混合适配器直接生成,不需要奖励模型;固定偏好下混合结果还能预先折进基座权重,推理零额外开销。
三个任务各带两个竞争目标:PKU-SafeRLHF 的有用性-无害性(Beaver 奖励/成本模型评分)、GSM8K 加约束的正确性-合规性、SynthPAI 改写的措辞保留-属性线索消除。前两个任务跑四个基座,第三个只跑两个最大模型。
| 设置 | 指标 | LambdaMix | 最强对照 |
| PKU / Qwen3.5-9B | hypervolume | 0.8735 | 0.7760(prompt 条件化) |
| PKU / Qwen3.5-9B, λ=(0.5,0.5) | 有用性 / 无害性 | 5.586 / 8.487 | 5.380 / 8.164(prompt 条件化) |
| PKU / Qwen3.5-9B | 两目标得分跨度 | 1.931 / 1.982 | 0.300 / 0.379(prompt 条件化) |
| GSM8K / Qwen3.5-9B | hypervolume | 0.8099 | 0.6947(GRPO specialists) |
| GSM8K / Qwen3.6-27B | hypervolume | 0.8895 | 0.8299(GDPO specialists) |
| SynthPAI / Qwen3.6-27B | hypervolume | 0.4552(关掉目标归一化) | 0.4407(GRPO specialists) |
PKU 任务上,两个较大 Qwen 的全部基线设置都至少被一个 LambdaMix 设置支配。GSM8K 上 Qwen3.6-27B 的扫描完全有序:准确率权重拉满时 XML 准确率从 0.470 升到 0.953,合规性从 0.978 降到 0.745,零反转。成本上,1 次训练、3.2 万条完成序列、13.2M 适配器参数支持任意偏好;GRPO 或 GDPO specialist 套件要 5 次训练、16 万条完成、33.1M 参数,只换来 5 个固定偏好。λ=(0.5,0.5) 时 LambdaMix 两项得分同时压过全部 10 个 specialist。例外也明确:Olmo 3 7B 上 HoE 在 PKU(0.7844 对 0.7625)和 GSM8K(0.5581 对 0.5291)都更高;目标归一化在 PKU 四个模型上都涨分,GSM8K 两涨两跌,SynthPAI 两个模型都跌,只能按任务试。
对要给不同用户群配不同「安全口味」的团队,这套方案把一排 specialist 检查点换成一个检查点加一个旋钮:训练量省 80%(3.2 万对 16 万条完成序列,1 次对 5 次运行),适配器参数少 60%(13.2M 对 33.1M),得分可调跨度约为最强条件化基线的 6 倍(Qwen3.5-9B 有用性 1.931 对 0.300)。组件层面并不新:LoRA 偏好混合来自 PaLoRA,组相对训练来自 GRPO,按目标归一化来自 GDPO,新的是在在线 RL 里让同一个 λ 同时驱动生成和更新,并用受控消融证明两者必须联动。代码开源,基座全是 Apache 2.0,复现门槛低。属于扎实的组合式改进,不是新的优化原理。
作者自述的:只测了两个目标,推广到更多目标、以及生成侧和更新侧的 λ 是否必须相同,都留作未来工作;SynthPAI 的得分不等于真的防住属性推断,学习型评估器还会继承训练数据的偏差;可调性是双刃剑,用户能把无害性权重调低,部署前需要限制可选偏好范围。读下来另有几点:有用性/无害性用 Beaver 学习型奖励模型评估,与训练奖励同源,reward hacking 风险没测;基线全部由作者搬进组相对框架自行复现,调参对等性没有保证;训练只有 500 步优化器更新,更长预算下的结论没有验证;归一化时好时坏,论文给了组内方差差异的猜想,没有给出选择准则。